[논문 리뷰] Monocular Depth Estimation: A Survey

Amlaan Bhoi|arXiv (Cornell University)|2019. 01. 27.

Advanced Vision and Imaging참고 문헌 16인용 수 87

한 줄 요약

단일 RGB 이미지에서의 밀집 픽셀 깊이 예측으로의 지도 학습, 약지도 학습, 비지도 학습을 포함한 다섯 가지 단안 깊이 추정(MDE) 방법과 그들의 다중 스케일, CRF 기반, 그리고 순차 회귀(ordinal regression) 접근법에 대한 설문 조사로, 데이터셋 평가 및 경향 분석을 다룬다.

ABSTRACT

Monocular depth estimation is often described as an ill-posed and inherently ambiguous problem. Estimating depth from 2D images is a crucial step in scene reconstruction, 3Dobject recognition, segmentation, and detection. The problem can be framed as: given a single RGB image as input, predict a dense depth map for each pixel. This problem is worsened by the fact that most scenes have large texture and structural variations, object occlusions, and rich geometric detailing. All these factors contribute to difficulty in accurate depth estimation. In this paper, we review five papers that attempt to solve the depth estimation problem with various techniques including supervised, weakly-supervised, and unsupervised learning techniques. We then compare these papers and understand the improvements made over one another. Finally, we explore potential improvements that can aid to better solve this problem.

연구 동기 및 목표

• 단일 RGB 이미지에서의 조밀한 픽셀 단위 깊이 예측으로서의 단안 깊이 추정(MDE)을 동기 부여하고 정의한다.
• 감독, 약지도, 비지도 패러다임에 걸친 다섯 가지 대표적 MDE 접근 방식을 요약한다.
• 아키텍처, 손실 함수, 융합 전략(다중 스케일 특징, CRF, 어텐션, 그리고 순서 회귀)을 비교한다.
• 데이터셋, 성능 경향, 그리고 개선 가능 경로를 강조한다.

제안 방법

• 초기 다중 스케일 딥 네트워크에서 다중 스케일 CRF 및 연쇄된 CRF로의 진화를 설명한다.
• 스케일 불변 손실이 스케일 애매함을 어떻게 줄이는지 설명한다.
• 다중 스케일 융합과 연속형 CRF를 위한 연속 CRF 공식들을 개요로 제시한다.
• 특징 융합을 위한 구조화된 어텐션 메커니즘과 SID 기반의 순서 회귀 접근법을 요약한다.
• 스테레오 쌍과 영상 재구성 손실을 이용한 비지도 좌우 일관성 학습을 제시한다.

실험 결과

연구 질문

• RQ1 감독, 약지도, 비지도 설정 전반에 걸쳐 단안 깊이 추정을 가능하게 하는 핵심 기술은 무엇인가?
• RQ2 다중 스케일 특징, CRF, 어텐션 메커니즘이 깊이 예측 정확도에 어떤 영향을 미치는가?
• RQ3 깊이 예측을 회귀, 연속 CRF, 또는 순서 회귀로 다루는 것의 장단점은 무엇인가?
• RQ4 NYU Depth V2, KITTI 같은 데이터셋이 방법 간 비교 및 벤치마킹을 어떻게 지원하는가?
• RQ5 MDE의 정확도와 일반화를 개선할 미래 방향은 무엇인가?

주요 결과

방법	상대오차	로그10	RMS	delta<1.25	delta<1.25^2	delta<1.25^3
Eigen et al. (2014)	0.215	-	0.907	0.611	0.887	0.971
Xu et al. (2018a)	0.121	0.052	0.586	0.811	0.954	0.987
Xu et al. (2018b)	0.125	0.057	0.593	0.806	0.952	0.986
Fu et al. (2018)	0.115	0.051	0.509	0.828	0.965	0.992
Godard et al. (2017)	-	-	-	-	-	-

• 다중 스케일 특징 융합과 스케일 불변 또는 순서 손실이 데이터셋 전반에서 깊이 추정 정확도를 향상시킨다.
• CRF 기반 융합(연속형 및 계단식)과 심층 네트워크를 결합하면 NYU Depth V2에서 RMSE 및 정확도 지표가 경쟁력 있게 나타난다.
• 구조화된 어텐션과 특징 수준 융합은 다중 스케일 정보 흐름을 개선하고 추론 속도를 높일 수 있다.
• 비지도 좌우 일관성 접근법은 데이터셋 간 일반화를 강하게 보이며 KITTI에서 RMSE 및 정확도 면에서 경쟁력이 있다.
• SID 기반 이산화는 순서 회귀 프레임워크에서 깊이 불확실성이 큰 영역을 다루는 데 이점을 줄 수 있다.
• 전반적으로 다중 스케일 특징을 가진 감독 방법이 초기 접근법보다 일반적으로 우수한 성능을 보이며, 비지도 방법은 스테레오 시그널로 학습될 때 일반화가 강하다.