[논문 리뷰] Learning monocular depth estimation infusing traditional stereo knowledge

Fabio Tosi, Filippo Aleotti외 2명|arXiv (Cornell University)|2019. 04. 08.

Advanced Vision and Imaging참고 문헌 60인용 수 14

한 줄 요약

이 논문은 단일 입력 이미지에서 특징 변환을 사용하여 가상의 오른쪽 이미지를 합성하고, 실제 및 합성된 특징 간의 스테레오 매칭을 수행하는 새로운 엔드 투 엔드 딥 러닝 아키텍처인 monoResMatch를 제안한다. 기존의 스테레오 알고리즘인 반구역간 매칭(Semi-Global Matching, SGM)에서 유도된 가짜 진짜값을 활용하여, 실제 깊이 애너테이션 없이도 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Depth estimation from a single image represents a fascinating, yet challenging problem with countless applications. Recent works proved that this task could be learned without direct supervision from ground truth labels leveraging image synthesis on sequences or stereo pairs. Focusing on this second case, in this paper we leverage stereo matching in order to improve monocular depth estimation. To this aim we propose monoResMatch, a novel deep architecture designed to infer depth from a single input image by synthesizing features from a different point of view, horizontally aligned with the input image, performing stereo matching between the two cues. In contrast to previous works sharing this rationale, our network is the first trained end-to-end from scratch. Moreover, we show how obtaining proxy ground truth annotation through traditional stereo algorithms, such as Semi-Global Matching, enables more accurate monocular depth estimation still countering the need for expensive depth labels by keeping a self-supervised approach. Exhaustive experimental results prove how the synergy between i) the proposed monoResMatch architecture and ii) proxy-supervision attains state-of-the-art for self-supervised monocular depth estimation. The code is publicly available at https://github.com/fabiotosi92/monoResMatch-Tensorflow.

연구 동기 및 목표

• 단일 이미지에서 깊이 신호가 부족하여 해석이 불가능한 단일 이미지 깊이 추정 문제를 해결한다.
• 장애물과 운동으로 인해 오류가 발생할 수 있는 이미지 워핑에 의존하는 자기지도 학습의 한계를 극복한다.
• 특히 SGM에서 유도된 가짜 지도 정보를 활용하여 전통적인 스테레오 지식을 단일 이미지 깊이 네트워크에 통합함으로써 깊이 추정 정확도를 향상시킨다.
• 가상의 두 번째 시점에서 특징을 합성함으로써 스테레오 매칭을 모방하는 엔드 투 엔드 훈련 가능한 아키텍처를 개발한다.
• 기존의 스테레오 알고리즘에서 유도된 가짜 지도 정보가 이미지 워핑 기반 자기지도 학습보다 단일 이미지 깊이 추정에서 더 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 단일 이미지 입력을 특징 공간으로 매핑하고, 이를 바탕으로 수평으로 정렬된 가상의 오른쪽 이미지 표현을 합성하는 단일 통합 딥 네트워크(monoResMatch)를 설계한다.
• 기존의 스테레오 매칭을 모방하기 위해 실제 왼쪽 이미지 특징과 합성된 오른쪽 이미지 특징 간의 상관관계 기반 정밀화 모듈을 적용한다.
• 입력 이미지에 대해 반구역간 매칭(Semi-Global Matching, SGM)을 적용하여 가짜 진짜값인 디스parity 맵을 생성하고, 이를 훈련 과정의 지도로 사용한다.
• 실제 깊이 애너테이션의 필요 없이, 가짜 SGM 레이블을 지도로 사용하여 전체 네트워크를 엔드 투 엔드로 처음부터 훈련시킨다.
• 입력 및 합성된 시점 간 기하학적 일관성을 활용하여, 미분 가능 워핑과 손실 최소화를 통해 깊이 추정 정확도를 향상시킨다.
• 잔차 연결과 다중 척도 특징 학습을 통합하여 특징 표현 및 깊이 예측 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 가상 스테레오 시점 합성 및 스테레오 매칭을 수행하는 단일 이미지 깊이 추정 네트워크가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 기존의 스테레오 알고리즘(SGM 등)에서 유도된 가짜 진짜값을 사용할 경우, 이미지 워핑 기반 자기지도 학습보다 더 나은 깊이 추정 성능을 낼 수 있는가?
• RQ3 스테레오 매칭 원리를 통합한 엔드 투 엔드 훈련 네트워크가 기존의 자기지도 학습 단일 이미지 깊이 모델을 초월할 수 있는가?
• RQ4 monoResMatch 아키텍처와 가짜 지도 지도의 상호작용이, 합성 또는 실제 깊이 레이블로 훈련된 모델과 비교해 어떻게 다른가?
• RQ5 외곽선이 포함된 SGM에서 유도된 가짜 지도가 비록 오류를 포함하고 있지만, 다른 자기지도 기반 기준 모델보다 더 정확한 깊이 예측을 이끌 수 있는가?

주요 결과

• monoResMatch는 KITTI 2015 테스트 스플릿에서 D1-all 오차 21.72%를 기록하여, 모든 자기지도 기반 기준 모델, 특히 monodepth와 SVS를 초월한다.
• SVS 대비 D1-bg 오차를 3% 이상 감소시키고, D1-fg 오차를 거의 1% 감소시켜 배경 및 전경 영역 모두에서 뛰어난 성능을 보였다.
• KITTI에서 500개의 LiDAR 애너테이션 샘플과 200-acrt 데이터만으로도, 30,000개 이상의 스테레오 쌍으로 훈련된 모델들보다 모든 지표에서 최고의 성능을 기록했다.
• SGM에서 생성된 가짜 레이블을 사용함으로써, 비록 SGM 레이블에 오류가 포함되어 있지만, 이미지 워핑 기반 자기지도 학습보다 더 정확한 깊이 예측이 가능하다.
• 가짜 지도 지도를 사용한 monoResMatch의 엔드 투 엔드 훈련은 이전 최신 기술 수준의 자기지도 방법(SVS) 대비 D1-all 오차에서 2.72%의 절대적 개선을 이뤘다.
• 이 프레임워크는 노이즈가 많은 가짜 지도 레이블에 대해 뛰어난 강건성을 보이며 높은 정확도를 유지하여, 실제 깊이 지도 없이도 전통적인 스테레오 지식이 단일 이미지 깊이 학습을 효과적으로 이끌 수 있음을 입증했다.