[논문 리뷰] Learning Deep Correspondence through Prior and Posterior Feature Constancy

Zhengfa Liang, Yiliu Feng외 6명|arXiv (Cornell University)|2017. 12. 04.

Advanced Vision and Imaging참고 문헌 24인용 수 30

한 줄 요약

이 논문은 스테레오 매칭을 위한 통합적인 딥러닝 프레임워크를 제안하며, 특징 추출, 비용 계산, 집계, 차원 추정 및 보정의 네 가지 단계를 하나의 엔드 투 엔드 아키텍처로 통합한다. 베이지안 추론 기반의 보정 네트워크에서 이전 및 이후 특징 일관성(consistency)을 활용함으로써, KITTI 2012 및 KITTI 2015 벤치마크에서 최고 성능을 기록하면서도 빠른 추론 속도를 달성한다.

ABSTRACT

Stereo matching algorithms usually consist of four steps, including matching cost calculation, matching cost aggregation, disparity calculation, and disparity refinement. Existing CNN-based methods only adopt CNN to solve parts of the four steps, or use different networks to deal with different steps, making them difficult to obtain the overall optimal solution. In this paper, we propose a network architecture to incorporate all steps of stereo matching. The network consists of three parts. The first part calculates the multi-scale shared features. The second part performs matching cost calculation, matching cost aggregation and disparity calculation to estimate the initial disparity using shared features. The initial disparity and the shared features are used to calculate the prior and posterior feature constancy. The initial disparity, the prior and posterior feature constancy are then fed to a sub-network to refine the initial disparity through a Bayesian inference process. The proposed method has been evaluated on the Scene Flow and KITTI datasets. It achieves the state-of-the-art performance on the KITTI 2012 and KITTI 2015 benchmarks while maintaining a very fast running time.

연구 동기 및 목표

• 기존의 CNN 기반 스테레오 매칭 방법들이 단계를 별도로 다루기 때문에 최적의 해답을 도출하지 못하는 한계를 해결하기 위해.
• 스테레오 매칭의 네 핵심 단계—특징 추출, 비용 계산, 집계, 차원 보정—을 하나의 엔드 투 엔드 학습 가능한 네트워크로 통합하기 위해.
• 보정 단계 동안 이전 및 이후 특징 일관성을 정규화 신호로 통합함으로써, 차원 추정 정확도를 향상시키기 위해.
• 표준 벤치마크에서 최고 성능을 달성하면서도 높은 추론 속도를 유지하기 위해.

제안 방법

• 네트워크는 먼저 공유 백본 인코더를 사용하여 스테레오 이미지 쌍에서 다중 척도 공유 특징을 추출한다.
• 두 번째 모듈은 매칭 비용을 계산하고, 이를 척도 간에 집계하며, 공유 특징을 사용하여 초도 차원 매핑을 예측한다.
• 초도 차원과 공유 특징을 사용하여 이전 및 이후 특징 일관성을 계산하고, 시야 간의 특징 일관성을 모델링한다.
• 보정 하위 네트워크는 초도 차원과 특징 일관성 신호를 입력으로 받아, 베이지안 추론을 수행하여 차원 매핑을 보정한다.
• 전체 아키텍처는 엔드 투 엔드로 학습되며, 보정 단계는 특징 일관성에서 유도된 확률적 제약 조건에 의해 안내된다.
• 학습된 사전 분포와 특징에 대한 사후 분포를 통해 공간적 및 외관 일관성을 모두 활용한다.

실험 결과

연구 질문

• RQ1 통합적인 딥 네트워크 아키텍처가 스테레오 매칭의 네 단계를 하나의 엔드 투 엔드 파이프라인으로 효과적으로 통합할 수 있는가?
• RQ2 이전 및 이후 특징 일관성을 효과적으로 모델링하고 활용하여 차원 보정을 향상시킬 수 있는가?
• RQ3 특징 일관성 신호에 대한 베이지안 추론이 더 정확하고 강건한 차원 예측을 이끌 수 있는가?
• RQ4 제안된 방법은 실시간 추론 속도를 유지하면서도 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 2012 벤치마크에서 이전 방법들보다 정확도 면에서 뛰어난 최고 성능을 기록한다.
• KITTI 2015 벤치마크에서는 비교된 모든 방법들 중에서 최고의 결과를 달성하여 강력한 일반화 능력을 입증한다.
• 복잡한 아키텍처임에도 불구하고 매우 빠른 실행 시간을 유지하여 실시간 응용에 적합하다.
• 이전 및 이후 특징 일관성의 통합은 특히 무문자나 반복 패턴이 많은 어려운 영역에서 차원 보정 향상에 크게 기여한다.