[논문 리뷰] Self-Supervised Learning for Stereo Matching with Self-Improving Ability

Yiran Zhong, Yuchao Dai외 1명|arXiv (Cornell University)|2017. 09. 04.

Advanced Vision and Imaging참고 문헌 9인용 수 154

한 줄 요약

이 논문은 ground-truth 지도 없이 스테레오 쌍으로부터 밀집 시차를 학습하는 자기지도(end-to-end) 스테레오 매칭 네트워크를 제시하며, 이미지 왜곡 손실과 루프 일관성을 사용하고, 새로운 환경에서 온라인으로 스스로 개선한다.

ABSTRACT

Exiting deep-learning based dense stereo matching methods often rely on ground-truth disparity maps as the training signals, which are however not always available in many situations. In this paper, we design a simple convolutional neural network architecture that is able to learn to compute dense disparity maps directly from the stereo inputs. Training is performed in an end-to-end fashion without the need of ground-truth disparity maps. The idea is to use image warping error (instead of disparity-map residuals) as the loss function to drive the learning process, aiming to find a depth-map that minimizes the warping error. While this is a simple concept well-known in stereo matching, to make it work in a deep-learning framework, many non-trivial challenges must be overcome, and in this work we provide effective solutions. Our network is self-adaptive to different unseen imageries as well as to different camera settings. Experiments on KITTI and Middlebury stereo benchmark datasets show that our method outperforms many state-of-the-art stereo matching methods with a margin, and at the same time significantly faster.

연구 동기 및 목표

• 스테레오 매칭에서 ground-truth 시차 맵에 의존하는 문제를 해소한다.
• supervision 없이 스테레오 입력으로부터 밀집 시차를 학습하는 end-to-end 네트워크를 제안한다.
• 트리비얼 솔루션을 방지하기 위해 이미지 왜곡 기반 손실과 3D 특징 정규화를 도입한다.
• 보이지 않는 영상과 카메라 설정에 온라인 적응을 통해 자기 개선을 가능하게 한다.

제안 방법

• 잔차(Residual) 18층 3x3 CNN으로 로컬 특징을 추출하여 64채널 특징을 생성한다.
• 좌우 특징을 시차 범위에 걸쳐 연결해 크로스뷰 특징 볼륨을 구성한다.
• Residual 연결된 Top-Down 모듈(Res-TDM)을 사용하여 3D 특징 매칭을 수행하고 3D 시차 볼륨을 생성한다.
• 소프트-아그민(soft-argmin) 연산을 이용하여 3D 볼륨을 2D 시차 맵으로 투영한다.
• 좌/우 영상 간의 워핑 품질을 평가하고 광도, 그라디언트, SSIM 기반 손실을 감독 신호로 사용한다.
• 루프 일관성 손실과 최대 깊이 휴리스틱을 도입하여 질감 없는 영역을 다루고 대칭 제약을 강화한다.

실험 결과

연구 질문

• RQ1 ground-truth 깊이 맵에 의존하지 않고 학습할 수 있는가?
• RQ2 이미지 재구성(워핑) 오차가 엔드-투-엔드 스테레오 학습을 감독하기에 충분한가?
• RQ3 3D 특징 공간의 정규화와 루프 일관성이 질감 없는 영역에서의 성능을 개선할 수 있는가?
• RQ4 라벨이 없는 데이터로 보지 못한 장면과 카메라 설정에 온라인으로 적응할 수 있는가?

주요 결과

• 자기지도 네트워크는 ground-truth 시차 없이 KITTI 및 Middlebury 벤치마크에서 경쟁력 있는 성능을 달성한다.
• 새로운 스테레오 데이터에 노출되었을 때 자체 개선(온라인 적응) 능력을 보여준다.
• 스테레오 쌍에 대해 추론 시간은 실용적이며, 선택적 온라인 미세 조정이 런타임을 증가시킨다.
• 루프 일관성 및 3D 정규화가 질감 없는 또는 도전적인 영역에서의 퇴행적 해를 완화하는 데 도움을 준다.
• 이 방법은 KITTI에서 학습된 모델을 Middlebury로 적응시켜 온라인 반복 후 주목할 만한 개선을 보인다.