[논문 리뷰] Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation

Jianyuan Wang, Yiran Zhong외 4명|arXiv (Cornell University)|2020. 10. 28.

Advanced Vision and Imaging인용 수 45

한 줄 요약

본 논문은 displacement-invariant cost learning (DICL)과 displacement-aware projection (DAP) 계층을 도입하여 5D 특성 볼륨을 구축하지 않고 광류 매칭 비용을 학습하며, Sintel 및 KITTI에서 최첨단 성능을 달성한다.

ABSTRACT

Learning matching costs has been shown to be critical to the success of the state-of-the-art deep stereo matching methods, in which 3D convolutions are applied on a 4D feature volume to learn a 3D cost volume. However, this mechanism has never been employed for the optical flow task. This is mainly due to the significantly increased search dimension in the case of optical flow computation, ie, a straightforward extension would require dense 4D convolutions in order to process a 5D feature volume, which is computationally prohibitive. This paper proposes a novel solution that is able to bypass the requirement of building a 5D feature volume while still allowing the network to learn suitable matching costs from data. Our key innovation is to decouple the connection between 2D displacements and learn the matching costs at each 2D displacement hypothesis independently, ie, displacement-invariant cost learning. Specifically, we apply the same 2D convolution-based matching net independently on each 2D displacement hypothesis to learn a 4D cost volume. Moreover, we propose a displacement-aware projection layer to scale the learned cost volume, which reconsiders the correlation between different displacement candidates and mitigates the multi-modal problem in the learned cost volume. The cost volume is then projected to optical flow estimation through a 2D soft-argmin layer. Extensive experiments show that our approach achieves state-of-the-art accuracy on various datasets, and outperforms all published optical flow methods on the Sintel benchmark.

연구 동기 및 목표

• 스테레오 매칭의 발전에서 영감을 받아 광류를 위한 데이터 기반 매칭 비용 학습의 필요성을 제기한다.
• 2D 변위 탐색의 계산적 도전을 5D 특성 볼륨과 4D 합성곱을 피함으로써 해결한다.
• 변위 불변 비용 학습 모듈을 제안하여 각 변위 가설마다 2D 매칭 네트워크를 적용하고 4D 비용 볼륨을 구성한다.
• 변위 차원에 따라 비용의 가중치를 재조정하고 다중 모드 모호성을 완화하기 위해 displacement-aware projection 레이어를 도입한다.
• 표준 광류 벤치마크에서 정확도 향상을 입증하고 접근 방식을 검증하기 위한 광범위한 애브레이션을 제공한다.]
• method':['각 변위 u에 대해 작은 2D 윈도우에서 F_u(p) = F^1(p) || F^2(p+u)로 참조와 타깃 특성 결합을 계산한다.
• 공유되는 2D 매칭 네트워크 G를 F_u에 적용하여 각 변위에 대해 독립적으로 비용 C_u(p)을 산출한다(5D 볼륨이나 4D 합성곱 없음).
• 변위 차원에 대한 1x1 합성곱을 통한 displacement-aware projection으로 C'_u를 얻기 위해 변위들 간의 비용을 집계한다.
• 4D 비용 볼륨을 2D 소프트-아그민으로 변위 집합에 대한 2D 광류로 투사한다.
• 초-에서-정밀 피라미드 왜곡 전략과 맥락 네트워크를 이용해 흐름 예측을 정제한다.

제안 방법

• 각 변위 u에 대해 F_u(p) = F^1(p) || F^2(p+u)로 참조-타깃 특성 결합을 계산한다.
• 공유되는 2D 매칭 네트워크 G를 F_u에 적용하여 각 변위에 대해 독립적으로 비용 C_u(p)을 생성한다(5D 볼륨이나 4D 합성곱 없음).
• 변위 차원에 대한 1x1 합성곱을 통한 displacement-aware projection으로 C'_u를 얻기 위해 변위들 간의 비용을 집계한다.
• 4D 비용 볼륨을 2D 소프트-아그민으로 변위 집합에 대한 2D 광류로 투사한다.
• 초-에서-정밀 피라미드 왜곡 전략과 맥락 네트워크를 이용해 흐름 예측을 정제한다.

실험 결과

연구 질문

• RQ1 학습된 매칭 비용을 5D 특성 볼륨을 구성하거나 4D 합성곱을 사용하지 않고도 광류에 대해 효과적으로 추정할 수 있는가?
• RQ2 동일한 2D 매칭 네트를 각 변위 가설에 독립적으로 적용하는 것이 계산 및 메모리 부담을 줄이면서도 유용한 정보를 보존하는가?
• RQ3 변위-의식 프로젝션 층이 다중 모드 문제를 완화하고 서브 픽셀 흐름 정확도를 향상시키는가?
• RQ4 DICL과 displacement-aware projection(DAP)이 Sintel과 KITTI 데이터셋에서 최첨단 결과를 달성하는가?
• RQ5 전통적인 dot-product/cosine 또는 MLP 기반의 비용 학습자에 대한 DICL의 비교 이점은 무엇인가?

주요 결과

• DICL은 FlyingChair, Sintel, KITTI 벤치마크에서 비학습(metric)인 dot product, cosine similarity 및 다른 학습된 비용 기반선들보다 더 높은 정확도를 달성한다.
• DAP은 데이터셋 전반에서 EPE를 약 0.1 픽셀 정도 일관되게 개선하고 소프트-아그민 추정에서 다중 모드 효과를 완화하는 데 도움을 준다.
• Sintel 최종에서 본 방법은 3.44 EPE에 도달하여 VCN 및 SelFlow를 능가하고, Sintel 클린에서 2.12 EPE로 강력한 일반화 성능을 보인다.
• PWCNet 및 VCN에서 비학습 비용을 DICL로 대체하면 성능 향상이 나타나며(예: PWCNet+DICL 및 VCN+DICL에서 Chair EPE 개선).
• 이 접근법은 KITTI 2015 및 Sintel에서 최첨단 결과를 달성하며, 데이터세트 특이 튜닝 없이도 강력한 일반화 성능을 보여준다.