[논문 리뷰] Single View Stereo Matching

Yue Luo, Jimmy Ren외 5명|arXiv (Cornell University)|2018. 03. 07.

Advanced Vision and Imaging참고 문헌 34인용 수 15

한 줄 요약

이 논문은 단일 시야 스테레오 매칭 프레임워크를 제안하며, 단일 시야 깊이 추정을 시각 합성과 스테레오 매칭으로 분해하여 추론 중에 명시적인 기하학적 제약 조건을 제공한다. 최소한의 실제 레이블 데이터로 엔드 투 엔드로 훈련된 이 방법은 KITTI에서 최신 기술 수준의 성능을 달성하였으며, 전통적인 스테레오 블록 매칭 알고리즘을 능가한다.

ABSTRACT

Previous monocular depth estimation methods take a single view and directly regress the expected results. Though recent advances are made by applying geometrically inspired loss functions during training, the inference procedure does not explicitly impose any geometrical constraint. Therefore these models purely rely on the quality of data and the effectiveness of learning to generalize. This either leads to suboptimal results or the demand of huge amount of expensive ground truth labelled data to generate reasonable results. In this paper, we show for the first time that the monocular depth estimation problem can be reformulated as two sub-problems, a view synthesis procedure followed by stereo matching, with two intriguing properties, namely i) geometrical constraints can be explicitly imposed during inference; ii) demand on labelled depth data can be greatly alleviated. We show that the whole pipeline can still be trained in an end-to-end fashion and this new formulation plays a critical role in advancing the performance. The resulting model outperforms all the previous monocular depth estimation methods as well as the stereo block matching method in the challenging KITTI dataset by only using a small number of real training data. The model also generalizes well to other monocular depth estimation benchmarks. We also discuss the implications and the advantages of solving monocular depth estimation using stereo methods.

연구 동기 및 목표

• 단일 시야 깊이 추정의 한계를 해결하기 위해, 고비용의 실제 깊이 데이터에 크게 의존하고 명시적인 기하학적 제약 조건이 없는 문제를 해결한다.
• 시각 합성과 스테레오 매칭의 두 단계 문제로 단일 시야 깊이 추정을 재구성함으로써 일반화 능력과 성능을 향상시킨다.
• 기하학적 정확성을 명시적으로 모델링함으로써 최소한의 실제 레이블 데이터로 엔드 투 엔드 훈련을 가능하게 하며, 기하학적 제약 조건을 명시적으로 통합한다.
• 단일 시야 방법이 전통적인 스테레오 매칭 알고리즘보다 정확도에서 뛰어나다는 것을 입증한다.

제안 방법

• 이 방법은 단일 시야 깊이 추정을 두 가지 하위 문제로 분해한다: 시각 합성(합성된 오른쪽 시야 생성)과 스테레오 매칭(왼쪽 시야와 합성된 오른쪽 시야 간의 시차 추정).
• 시각 합성 네트워크는 기하학적 변환을 명시적으로 모델링한 비가역 렌더링 과정과 확률적 시차 맵을 지도로 사용하여 단일 입력 이미지에서 사진 수준의 오른쪽 시야를 생성하도록 훈련된다.
• 스테레오 매칭 네트워크는 원본 시야와 합성된 시야의 특징을 사용하여 비용 볼륨 집계와 시차 회귀를 수행하며, 기하학적 일致성을 강제한다.
• 전체 파이프라인은 합성 데이터와 소량의 실제 레이블 데이터를 조합하여 엔드 투 엔드로 훈련된다.
• 기하학적 제약 조건은 기하학적 변환과 스테레오 매칭 손실 함수를 통해 두 네트워크에 명시적으로 통합된다.
• 시각 합성과 스테레오 매칭이 모두 자연스럽게 기하학 원리를 따르므로, 이는 정확성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 합성된 시야를 사용하여 단일 시야 깊이 추정을 효과적으로 스테레오 매칭 문제로 재구성할 수 있는가?
• RQ2 대규모 실제 깊이 레이블을 사용하지 않고도 추론 중에 명시적인 기하학적 제약 조건을 강제로 적용할 수 있는가?
• RQ3 시각 합성과 스테레오 매칭의 두 단계 파이프라인은 엔드 투 엔드 단일 시야 깊이 추정 방법을 능가할 수 있는가?
• RQ4 소량의 실제 깊이 레이블만으로 성능을 얼마나 향상시킬 수 있는가?
• RQ5 단일 시야 방법이 블록 매칭과 같은 전통적인 스테레오 매칭 알고리즘보다 정확도에서 뛰어날 수 있는가?

주요 결과

• 제안된 방법은 KITTI 2015 테스트 세트에서 D1-all 오차 24.44%를 기록하여 이전의 모든 단일 시야 깊이 추정 방법을 능가한다.
• 이것은 전반적인 정확도에서 스테레오 블록 매칭 방법(OVC-BM)을 처음으로 뛰어넘는 단일 시야 방법이며, OVC-BM의 25.27% 대비 D1-all 24.44%를 기록한다.
• 실제 KITTI 시차 레이블이 전혀 없이도 D1-all 25.18%를 달성하여 강력한 제로샷 일반화 능력을 입증한다.
• 단지 700개의 실제 KITTI 샘플로의 피니튜닝만으로도 성능 향상이 크게 발생하며, 최소한의 실제 데이터로도 최신 기술 수준의 방법을 초월한다.
• KITTI에서의 피니튜닝 후에 Cityscapes와 Make3D 데이터셋에서도 높은 품질의 결과를 생성하여 우수한 일반화 능력을 보였다.
• 시각 합성 네트워크에서 생성된 원시 시차 맵은 성능이 열악하다(D1-all ≈ 30%)는 점을 통해, 최종 정밀화 단계에서 스테레오 매칭이 필수적임을 보여준다.