[논문 리뷰] Global Matching with Overlapping Attention for Optical Flow Estimation

Shiyu Zhao, L. Zhao외 3명|arXiv (Cornell University)|2022. 03. 21.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 대규모 이동을 명시적으로 다룰 수 있도록 4차원 비용 볼륨에 대해 argmax를 적용하는 전역 매칭 단계를 도입한 학습 기반 매칭 최적화 프레임워크인 GMFlowNet을 제안한다. 패치 기반 겹침 주의(POLA) 모듈을 통해 넓은 맥락 특징을 캡처함으로써 매칭 정확도를 향상시켜, Sintel 및 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산 오버헤드를 최소화한다.

ABSTRACT

Optical flow estimation is a fundamental task in computer vision. Recent direct-regression methods using deep neural networks achieve remarkable performance improvement. However, they do not explicitly capture long-term motion correspondences and thus cannot handle large motions effectively. In this paper, inspired by the traditional matching-optimization methods where matching is introduced to handle large displacements before energy-based optimizations, we introduce a simple but effective global matching step before the direct regression and develop a learning-based matching-optimization framework, namely GMFlowNet. In GMFlowNet, global matching is efficiently calculated by applying argmax on 4D cost volumes. Additionally, to improve the matching quality, we propose patch-based overlapping attention to extract large context features. Extensive experiments demonstrate that GMFlowNet outperforms RAFT, the most popular optimization-only method, by a large margin and achieves state-of-the-art performance on standard benchmarks. Thanks to the matching and overlapping attention, GMFlowNet obtains major improvements on the predictions for textureless regions and large motions. Our code is made publicly available at https://github.com/xiaofeng94/GMFlowNet

연구 동기 및 목표

• 직접 회귀 기반 광학 흐름 방법이 장기적 대응 모델링이 부족하여 큰 이동을 다루는 데에 한계가 있음을 해결하기 위해.
• 넓은 맥락 특징을 활용하여 무늬가 없고 모호한 영역에서의 매칭 정확도를 향상시키기 위해.
• 伝통적인 매칭 최적화 파이프라인을 영감으로 삼아, 종단간 학습 기반 최적화에 전역 매칭 단계를 통합하기 위해.
• 최신 기술 수준의 방법들(예: RAFT)을 능가하면서도 실용적인 추론 속도를 유지할 수 있는 효율적이고 효과적인 아키텍처를 개발하기 위해.

제안 방법

• 큰 맥락 특징에서 생성된 4차원 비용 볼륨에 argmax를 적용하여 전역 매칭 단계를 도입함으로써 장거리 운동 대응을 명시적으로 모델링할 수 있도록 한다.
• 패치와 그 이웃을 주시하여 대규모 맥락적 특징을 추출하는 패치 기반 겹침 주의(POLA) 블록을 제안하여 매칭의 모호성을 줄인다.
• 세 단계 프레임워크를 사용한다: (1) 3개의 컨볼루션 레이어와 POLA 블록을 이용한 큰 맥락 특징 추출, (2) 비용 볼륨에 대한 argmax를 통한 전역 매칭 및 상호 매칭 정밀도 향상, (3) RAFT의 학습된 업데이트 모듈을 사용한 반복 최적화.
• 4차원 비용 볼륨을 사용하여 프레임 간 픽셀 수준의 유사도를 표현하며, CNN를 통해 특징을 추출하고 POLA로 맥락 모델링을 향상시킨다.
• 비전 트랜스포머의 표준 주의 메커니즘을 POLA로 대체하여 효율성을 유지하면서도 광학 흐름 작업에서 성능을 향상시킨다.
• RAFT 대비 뿐만 아니라 라이트웨이트 전역 매칭 모듈을 도입하여 추론 시간 오버헤드가 0.52%에 불과하여 실용적인 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 직접 회귀 광학 흐름 네트워크에 전역 매칭 단계를 도입하면 큰 운동과 무늬가 없는 영역에서 성능 향상이 상당히 이루어지는가?
• RQ2 표준 자기 주의 또는 CNN에 비해 패치 기반 겹침 주의는 광학 흐름 매칭 중 국소적 모호성을 얼마나 효과적으로 줄이는가?
• RQ3 학습 기반 매칭 최적화 프레임워크는 순수 종단간 회귀 또는 RAFT와 같은 최적화 전용 베이스라인을 능가하는가?
• RQ4 전역 매칭과 겹침 주의를 추가할 경우 계산 비용은 얼마이며, 실용적 구현에 충분히 효율적인가?
• RQ5 특징 추출기 유형과 주의 블록 수와 같은 아키텍처 선택은 최종 성능 및 효율성에 어떤 영향을 미치는가?

주요 결과

• GMFlowNet은 Sintel 및 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하여, Sintel Clean에서 최종 오차가 1.14, KITTI에서 4.24를 기록하며 RAFT를 상당한 격차로 능가한다.
• 전역 매칭 모듈은 Sintel Final에서 12.6% 감소, KITTI에서 6.0% 감소한 오차를 기록하여 큰 이동을 다룰 때의 효과성을 입증한다.
• PCLA 모듈은 무늬가 없고 반복적인 영역에서 ResNet, Swin Transformer, ViT보다 뛰어난 매칭 정확도를 보이며, 넓은 수신 영역과 국소 맥락 집합 기능 덕분이다.
• RAFT에 전역 매칭을 추가한 RAFT+GM은 Sintel Final에서 12.6%, KITTI에서 6.0%의 오차 감소를 기록하여 성능 향상에 직접 기여함을 입증한다.
• Swin에 비해 400만 파라미터와 0.078초의 추론 시간 오버헤드가 추가되었음에도 불구하고, Sintel Clean에서 13.5% 향상, KITTI에서 24.9% 향상된 성능을 기록하여 오버헤드가 정당화됨을 보여준다.
• 제거 분석 결과, 초기 특징 추출에 3개의 컨볼루션과 6개의 POLA 블록을 사용할 경우 성능과 효율성의 최적 균형을 이룬다.