[논문 리뷰] Learning monocular depth estimation with unsupervised trinocular assumptions

Matteo Poggi, Fabio Tosi외 1명|arXiv (Cornell University)|2018. 08. 05.

Advanced Vision and Imaging참고 문헌 8인용 수 7

한 줄 요약

이 논문은 삼안경 감독을 통해 이안경 스테레오 쌍을 순환 학습 전략을 사용하여 학습함으로써 스테레오 아티팩트를 완화하는 새로운 비지도 단안 깊이 추정 네트워크인 3Net을 제안한다. 중심 기준 이미지에서 왼쪽 및 오른쪽 컨텍스트를 모델링함으로써 3Net은 실제 삼안경 데이터 없이도 KITTI에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Obtaining accurate depth measurements out of a single image represents a fascinating solution to 3D sensing. CNNs led to considerable improvements in this field, and recent trends replaced the need for ground-truth labels with geometry-guided image reconstruction signals enabling unsupervised training. Currently, for this purpose, state-of-the-art techniques rely on images acquired with a binocular stereo rig to predict inverse depth (i.e., disparity) according to the aforementioned supervision principle. However, these methods suffer from well-known problems near occlusions, left image border, etc inherited from the stereo setup. Therefore, in this paper, we tackle these issues by moving to a trinocular domain for training. Assuming the central image as the reference, we train a CNN to infer disparity representations pairing such image with frames on its left and right side. This strategy allows obtaining depth maps not affected by typical stereo artifacts. Moreover, being trinocular datasets seldom available, we introduce a novel interleaved training procedure enabling to enforce the trinocular assumption outlined from current binocular datasets. Exhaustive experimental results on the KITTI dataset confirm that our proposal outperforms state-of-the-art methods for unsupervised monocular depth estimation trained on binocular stereo pairs as well as any known methods relying on other cues.

연구 동기 및 목표

• 이산 스테레오 감독의 한계, 특히 음영부 및 이미지 경계 근처의 아티팩트를 해결한다.
• 실제 삼안경 데이터셋의 부족을 극복하기 위해 KITTI 및 CityScapes와 같은 표준 이안경 스테레오 데이터셋에서 효과적으로 학습할 수 있도록 한다.
• 중앙 기준 이미지와 함께 왼쪽 및 오른쪽 컨텍스트를 사용하여 삼안경 기하학을 활용해 깊이 추정 정확도를 향상시킨다.
• 후속 작업을 위한 합성 다중 기준선 스테레오 쌍 생성과 같은 새로운 응용을 가능하게 한다.
• 이안경 데이터에서 학습하면서 삼안경 유도 편향을 강제함으로써 공정한 비교 기준을 설정하여, 기존 최신 기술 수준의 비지도 방법보다 본 방법의 우수성을 입증한다.

제안 방법

• 왼쪽 및 오른쪽 시야를 보조 시야로 사용하여 중심 기준 이미지에서 디스파리티 맵을 예측하는 CNN을 학습하고, 삼안경 일관성을 강제한다.
• 역전파 동안 왼쪽 및 오른쪽 왜곡 목표를 번갈아가며 수행하는 순환 학습 절차를 설계하여 삼안경 감독을 시뮬레이션한다.
• 기준 이미지와 왜곡된 왼쪽/오른쪽 시야 사이의 이미지 재구성 손실(왜곡 오차)을 사용하여 지도 없는 깊이 예측을 감독한다.
• 네트워크가 왼쪽 및 오른쪽 디스파리티($d^{lc}$, $d^{rc}$)를 예측할 수 있도록 하여 단일 입력 이미지에서 새로운 가상 시점으로의 시각 합성을 가능하게 한다.
• 합성된 스테레오 쌍에 대해 정합성 기반 매칭(SGM)을 적용하여 생성된 삼안경 시점의 품질과 스테레오 알고리즘에 대한 유용성을 검증한다.
• 공유 인코더(VGG 또는 ResNet50)와 왼쪽 및 오른쪽 디스파리티 예측을 위한 별도 헤드를 갖춘 다중 척도 아키텍처를 채택하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 설정에서 이안경 스테레오 감독을 초월해 삼안경 감독이 단안 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 새로운 학습 전략을 사용해 이안경 스테레오 데이터셋에서 삼안경 유도 편향을 얼마나 잘 학습할 수 있는가?
• RQ3 이안경 기반 비지도 방법과 비교해 본 방법이 음영부 및 이미지 경계 근처의 일반적인 스테레오 아티팩트를 줄이는가?
• RQ4 단일 이미지에서 실현 가능한 합성 스테레오 쌍을 생성하여 다중 기준선 스테레오 처리를 가능하게 할 수 있는가?
• RQ5 제안된 3Net의 성능이 표준 벤치마크에서 최신 기술 수준의 비지도 단안 깊이 추정 방법과 정량적으로 비교해 볼 때 어떻게 되는가?

주요 결과

• 3Net은 KITTI 2015 테스트 세트에서 최신 기술 수준의 성능을 달성하였으며, 후처리를 사용하지 않더라도 이전 최신 기술 수준 방법(Godard 등 [12])을 뛰어넘었다.
• ResNet50와 후처리를 적용한 3Net은 Godard 등 [12]의 최고 성능 구성(ResNet50 + 후처리)을 초월하여 더 높은 정확도를 달성하였다.
• 제안된 방법은 광범위한 비지도 깊이 추정 프레임워크, 특히 광학 흐름이나 운동 기반 깊이 추정과 같은 다른 신호에 의존하는 방법들보다도 더 우수한 성능을 내었다.
• 순환 학습 프로토콜은 이안경 데이터셋에서 효과적인 삼안경 감독을 가능하게 하였으며, 성능 향상은 데이터 양이 아닌 삼안경 유도 편향에서 기인한다는 점을 입증하였다.
• 단일 이미지에서 생성된 가상의 스테레오 쌍은 다중 기준선 스테레오 매칭을 가능하게 하였으며, 좁은 기준선과 넓은 기준선에 대해 SGM을 적용한 결과 일관된 디스파리티 범위를 보였다.
• 네트워크는 단일 입력에서 실현 가능한 새로운 시점(왼쪽 및 오른쪽)을 생성하여, 스테레오 네트워크의 데이터 증강 또는 단일 시점 스테레오 처리와 같은 새로운 응용을 가능하게 하였다.