[논문 리뷰] Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture

Lidong Yu, Yucheng Wang외 2명|arXiv (Cornell University)|2018. 01. 12.

Advanced Vision and Imaging참고 문헌 21인용 수 21

한 줄 요약

이 논문은 깊이 스테레오 매칭을 위한 새로운 학습 기반 비용 집계 서아키텍처를 제안하며, 이는 이중 스트림 신경망을 사용하여 비용 집계 제안을 명시적으로 생성하고 선택한다. 저수준의 구조 정보를 전역 가이던스로 통합함으로써 KITTI 및 Scene Flow 벤치마크에서 정확도를 향상시키며, KITTI2015에서 2.17%의 오차, KITTI2012에서 2.68%의 오차로 최신 기술을 능가한다.

ABSTRACT

Deep neural networks have shown excellent performance for stereo matching. Many efforts focus on the feature extraction and similarity measurement of the matching cost computation step while less attention is paid on cost aggregation which is crucial for stereo matching. In this paper, we present a learning-based cost aggregation method for stereo matching by a novel sub-architecture in the end-to-end trainable pipeline. We reformulate the cost aggregation as a learning process of the generation and selection of cost aggregation proposals which indicate the possible cost aggregation results. The cost aggregation sub-architecture is realized by a two-stream network: one for the generation of cost aggregation proposals, the other for the selection of the proposals. The criterion for the selection is determined by the low-level structure information obtained from a light convolutional network. The two-stream network offers a global view guidance for the cost aggregation to rectify the mismatching value stemming from the limited view of the matching cost computation. The comprehensive experiments on challenge datasets such as KITTI and Scene Flow show that our method outperforms the state-of-the-art methods.

연구 동기 및 목표

• 전통적인 수작업 설계된 비용 집계 방식의 한계를 해결한다. 이러한 방식은 전역적 맥락을 결여하고 있으며, 무늬가 없는 영역 및 가림 영역에서 어려움을 겪는다.
• 비용 집계를 제안 생성 및 선택의 학습 가능한 과정으로 명시적으로 모델링하여 비극성 추정 정확도를 향상시킨다.
• 경량 컨볼루션 네트워크를 통해 추출한 저수준 구조 특징을 사용하여 전역 시각 가이던스를 비용 집계에 통합한다.
• 비용 집계를 학습 가능한 서아키텍처로 통합함으로써 스테레오 매칭 파이프라인의 엔드 투 엔드 훈련을 가능하게 한다.
• 비용 볼륨의 국소적 적합성과 구조 가이던스에서 유도된 전역 맥락을 균형 잡아 비용 볼륨 내 오차 매칭을 감소시킨다.

제안 방법

• 비용 집계를 이중 단계 학습 과정으로 재구성한다: 제안 생성 및 제안 선택.
• 제안 스트림을 사용하여 공간적 및 깊이 차원을 따라 3차원 컨볼루션 연산을 통해 후보 집계 비용 볼륨을 생성한다.
• 가벼운 컨볼루션 네트워크를 갖춘 가이던스 스트림을 사용하여 기준 이미지에서 저수준의 구조 특징을 추출하여 전역 맥락을 제공한다.
• 가이던스 특징 맵을 사용하여 평가 점수를 계산하고, 승자 한 명이 가져가는 전략을 적용하여 최상의 제안을 선택한다.
• 서아키텍처를 엔드 투 엔드 훈련 가능한 스테레오 매칭 파이프라인에 통합하여 특징 추출, 비용 계산, 집계의 공동 최적화를 가능하게 한다.
• 집계 후 비극성 지도 회귀를 위해 소프트-아르민을 사용하여 미분 가능성과 부드러움을 확보한다.

실험 결과

연구 질문

• RQ1 학습 가능한 비용 집계 메커니즘이 기존의 수작업 설계된 집계 방법을 초월하여 스테레오 매칭 정확도를 향상시킬 수 있는가?
• RQ2 저수준의 구조 정보가 비용 볼륨의 국소 오류를 수정하는 데 효과적으로 전역 시각 가이던스로 기능할 수 있는가?
• RQ3 제안 생성 및 선택을 위한 이중 스트림 아키텍처가 무늬가 없는 영역 및 가림 영역에서 기존의 집계 방식을 능가하는가?
• RQ4 비용 집계 서아키텍처의 엔드 투 엔드 훈련이 전체 스테레오 매칭 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 시뮬레이션된(Synthetic, Scene Flow) 및 실세계(Real-world, KITTI) 벤치마크를 포함한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 방법은 KITTI2015 벤치마크에서 D1-all 오차 2.17%를 기록하며, GC-Net(2.38%), MC-CNN(3.89%) 및 기타 최신 기술을 능가한다.
• KITTI2012에서의 방법은 D1-all 오차 2.68%를 기록하며, GC-Net(3.00%) 및 MC-CNN(3.90%)를 초월하는 정확도를 확보한다.
• Scene Flow 데이터셋에서의 방법은 RMS 오차 2.23과 D1-all 오차 2.68을 기록하며, GC-Net 및 기타 베이스라인을 능가한다.
• 절단 실험 결과 가이던스 스트림이 필수적임을 확인한다: 이를 제거하면 성능이 크게 떨어지며, 이는 효과적인 전역 시각 가이던스 역할을 함을 입증한다.
• 가이던스 스트림의 시각화 결과, 저수준의 구조 정보를 성공적으로 캡처함을 확인하였으며, 이는 정확한 비극성 추정과 상관관계가 있음을 보여준다.
• KITTI에서 이미지당 1.13초의 실행 시간을 기록하여 정확도와 추론 속도 사이의 유리한 균형을 확보한다.