[논문 리뷰] Left-Right Comparative Recurrent Model for Stereo Matching

Zequn Jie, Pengfei Wang외 5명|arXiv (Cornell University)|2018. 04. 03.

Advanced Vision and Imaging참고 문헌 25인용 수 12

한 줄 요약

이 논문은 소프트 어텐션 메커니즘을 갖춘 순환 아키텍처를 통해 스테레오 디스파리티 추정과 왼쪽-오른쪽 일致성 체크를 동시에 수행하는 새로운 엔드 투 엔드 Left-Right Comparative Recurrent (LRCR) 모델을 제안한다. 온라인 왼쪽-오른쪽 비교를 통해 반복적으로 디스파리티 매핑을 개선하고, 신뢰할 수 없는 영역에 어텐션 기반으로 집중함으로써, LRCR는 오직 30M 파라미터로 KITTI 2015, Scene Flow, Middlebury 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가하면서도 효율적인 추론을 유지한다.

ABSTRACT

Leveraging the disparity information from both left and right views is crucial for stereo disparity estimation. Left-right consistency check is an effective way to enhance the disparity estimation by referring to the information from the opposite view. However, the conventional left-right consistency check is an isolated post-processing step and heavily hand-crafted. This paper proposes a novel left-right comparative recurrent model to perform left-right consistency checking jointly with disparity estimation. At each recurrent step, the model produces disparity results for both views, and then performs online left-right comparison to identify the mismatched regions which may probably contain erroneously labeled pixels. A soft attention mechanism is introduced, which employs the learned error maps for better guiding the model to selectively focus on refining the unreliable regions at the next recurrent step. In this way, the generated disparity maps are progressively improved by the proposed recurrent model. Extensive evaluations on KITTI 2015, Scene Flow and Middlebury benchmarks validate the effectiveness of our model, demonstrating that state-of-the-art stereo disparity estimation results can be achieved by this new model.

연구 동기 및 목표

• 기존의 후처리, 수작업으로 구성된 왼쪽-오른쪽 일치성 체크의 한계를 해결하기 위해, 얕은 특징에 의존하는 취약한 점을 해결하고자 한다.
• 디스파리티 추정과 일치성 체크를 하나의 엔드 투 엔드 훈련 가능한 순환 프레임워크로 통합하여 상호 보완적인 향상을 가능하게 하고자 한다.
• 학습된 오류 맵을 소프트 어텐션 가이드로 사용하여 신뢰할 수 없는 영역을 자동으로 식별하고 정밀 조정하는 자기 향상 메커니즘을 개발하고자 한다.
• 거대한 훈련 데이터와 복잡한 아키텍처에 대한 의존도를 줄이고도 뛰어난 디스파리티 추정 성능을 달성하고자 한다.

제안 방법

• LRCR 모델은 ConvLSTM 기반의 순환 아키텍처를 사용하여 각 단계에서 왼쪽 및 오른쪽 시야를 동시에 처리하며, 이전의 디스파리티 추정치를 유지하는 은닉 상태를 유지한다.
• 각 순환 단계에서 모델은 양쪽 시야에 대한 디스파리티 매핑을 생성하고, 온라인 왼쪽-오른쪽 비교를 수행하여 일치하지 않는 영역을 나타내는 오류 맵을 생성한다.
• 이 오류 맵은 소프트 어텐션 맵으로 사용되어, 이후 정밀 조정 단계에서 오류 가능성이 높은 영역에 더 집중하도록 네트워크를 안내한다.
• 모델는 매칭 비용 학습을 위해 하이브리드 일정 고속 네트워크를 활용하고, 여러 개의 ConvLSTM 레이어를 스택하여 점진적으로 디스파리티 예측을 정밀 조정한다.
• 순환 설계 덕분에, 네트워크는 기저 정보와 일치성 체크를 기반으로 기울기 전파 가능한 엔드 투 엔드 방식으로 예측을 반복적으로 향상시킬 수 있다.
• 훈련 과정은 이중 단계 학습 전략을 통해 최적화되며, Scene Flow에서 사전 훈련된 가중치를 사용하여 Middlebury와 같은 작은 데이터셋에서의 미세 조정이 포함된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 순환 모델이 디스파리티 추정과 왼쪽-오른쪽 일치성 체크를 효과적으로 통합하여 정확도를 향상시킬 수 있는가?
• RQ2 학습된 오류 맵을 기반으로 한 온라인 반복 정밀 조정은 기존의 후처리 일치성 체크보다 어떻게 다를까?
• RQ3 왼쪽-오른쪽 비교에 기반한 소프트 어텐션 메커니즘이 무늬가 없는 영역, 가림 영역, 반사 영역에서의 오류 탐지 및 수정 능력을 향상시킬 수 있는가?
• RQ4 표준 스테레오 벤치마크에서 LRCR 모델은 최신 기술 수준의 방법들에 비해 어떤 성능 향상을 보이는가?

주요 결과

• LRCR 모델은 KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성하며, 훨씬 더 큰 훈련 데이터셋에 의존하는 엔드 투 엔드 모델들조차도 능가한다.
• Scene Flow 데이터셋에서 LRCR 모델은 최신 기술 수준의 GC-NET을 크게 능가하며, 순환 단계가 진행될수록 일관된 향상이 관찰된다.
• Middlebury 벤치마크에서 LRCR 모델은 비순환 기반 모델과 MC-CNN-acrt라는 강력한 이전 방법을 모두 초월하여 실내 환경에서의 뛰어난 일반화 능력을 보여준다.
• 증가하는 순환 단계에 따라 점진적인 향상 경향을 보이며, 상대적 성능 향상은 시간이 지남에 따라 감소하여 안정적이고 고품질의 예측에 수렴하는 것으로 나타났다.
• 오직 30M 파라미터를 가진 LRCR 모델이 CRL(74.95M 파라미터)과 같은 훨씬 깊은 모델들에 비해 경쟁 가능한 성능을 달성함으로써 높은 파라미터 효율성을 보여준다.
• 기본 모델과 유사한 추론 시간을 유지하면서도 훨씬 높은 정확도를 제공함으로써 실용적인 효율성도 확보하고 있다.