[논문 리뷰] Deep Learning based Monocular Depth Prediction: Datasets, Methods and Applications

Qing Li, Jiasong Zhu외 5명|arXiv (Cornell University)|2020. 11. 09.

Advanced Vision and Imaging참고 문헌 177인용 수 7

한 줄 요약

이 종합 검토는 딥러닝 기반 단안 영상 깊이 예측에 대해 데이터셋, 지도 학습 및 비지도 학습 방법, 깊이 보완 기법을 포함해 포괄적으로 다룬다. 네트워크 아키텍처, 손실 함수, 기하학적 제약 조건을 분석하며, 척도 모호성과 실시간 배포와 같은 핵심 과제를 규명하고, 설명 가능성, 경량 네트워크, 도메인 적응 분야의 향후 방향을 제시한다.

ABSTRACT

Estimating depth from RGB images can facilitate many computer vision tasks, such as indoor localization, height estimation, and simultaneous localization and mapping (SLAM). Recently, monocular depth estimation has obtained great progress owing to the rapid development of deep learning techniques. They surpass traditional machine learning-based methods by a large margin in terms of accuracy and speed. Despite the rapid progress in this topic, there are lacking of a comprehensive review, which is needed to summarize the current progress and provide the future directions. In this survey, we first introduce the datasets for depth estimation, and then give a comprehensive introduction of the methods from three perspectives: supervised learning-based methods, unsupervised learning-based methods, and sparse samples guidance-based methods. In addition, downstream applications that benefit from the progress have also been illustrated. Finally, we point out the future directions and conclude the paper.

연구 동기 및 목표

• 최근 딥러닝 기반 단안 영상 깊이 추정 기술, 특히 지도 학습, 비지도 학습, 희소 지도 기반 방법을 체계적으로 검토하기 위해.
• 지도 학습 기반 깊이 예측에서 네트워크 아키텍처와 손실 함수의 발전을 분석하기 위해.
• 비지도 학습 기반 접근법의 성능와 한계를 평가하기 위해, 특히 척도 모호성과 음영 처리 문제에 초점 맞추기 위해.
• RGB 이미지와 희소 깊이 입력을 융합하여 정확도를 향상시키는 깊이 보완 기법을 탐색하기 위해.
• 모델의 설명 가능성, 임베디드 장치에서의 실시간 추론, 도메인 일반화와 같은 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 단안 영상 깊이 예측 방법을 세 가지 주요 범주로 분류: 지도 학습, 비지도 학습, 희소 샘플 가이던스.
• 네트워크 구조(예: Hourglass, GANs)와 손실 함수(예: L1, L2, 에지 인식 손실)를 분석하여 지도 학습 방법의 깊이 맵 품질 향상 원리 분석.
• 이미지 재구성과 사이클 일관성 기반 비지도 학습 방법을 검토하며, 지도 없는 깊이 예측을 위해 스테레오 또는 비디오 프레임을 활용.
• 주의 메커니즘 또는 그래프 기반 융합을 통해 RGB 이미지와 희소 깊이 입력을 융합하여 정확도를 향상시키는 깊이 보완 기법 분석.
• 기하학적 및 통계적 제약 조건(예: 깊이 일관성, 흐림 효과)을 정규화 요소로 통합하여 네트워크 일반화 능력 향상.
• 비교 분석 및 벤치마크 데이터셋 기반 아블레이션 연구를 통해 모델의 효율성과 강인성 평가.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 아키텍처와 손실 함수는 단안 영상 깊이 예측의 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ2 비지도 학습 기반 단안 영상 깊이 예측의 주요 한계는 무엇인가? 특히 척도 모호성과 음영 처리 문제에 대해.
• RQ3 기하학적 및 통계적 사전 지식(예: 흐림 효과, 깊이 일관성)은 어떻게 딥 네트워크에 정규화 요소로 효과적으로 통합될 수 있는가?
• RQ4 임베디드 장치나 실시간 시스템에서 딥러닝 모델을 구현할 때의 주요 과제는 무엇인가?
• RQ5 다양한 카메라 유형과 환경을 포함한 실제 환경에서의 배포 시나리오에서 도메인 이동과 과적합 문제를 어떻게 완화할 수 있는가?

주요 결과

• 지도 학습 기반 딥러닝 방법은 정확도와 속도 면에서 전통적 기계 학습 및 비모수적 접근보다 뚜렷한 우수성을 보인다.
• 비지도 학습 방법은 스테레오 또는 비디오 일관성을 활용해 뛰어난 성능를 달성하지만, 여전히 척도 모호성과 동적 객체 탐지 문제를 해결하지 못하고 있다.
• 깊이 일관성 및 흐림 효과와 같은 기하학적 제약 조건을 정규화 요소로 통합하면 모델의 강인성과 일반화 능력이 향상된다.
• 현재 딥러닝 모델은 계산 비용이 높아 임베디드 장치에 적합하지 않으며, 이에 따라 경량 아키텍처의 필요성이 강조된다.
• 도메인 이동은 여전히 주요 과제로 남아 있으며, 한 카메라 또는 장면 유형에서 학습된 모델은 새로운 카메라나 환경에서는 성능을 내지 못하는 경우가 많다.
• 설명 가능성 연구 결과, CNN은 에지나 퇴적점과 같은 기하학적 특징에 주목함을 보여, 네트워크 주의 메커니즘과 장면 구조 간의 강한 연관성이 있음을 시사한다.