[논문 리뷰] Towards Real-Time Monocular Depth Estimation for Robotics: A Survey

Xingshuai Dong, Matthew Garratt외 2명|arXiv (Cornell University)|2021. 11. 16.

Advanced Vision and Imaging참고 문헌 185인용 수 6

한 줄 요약

이 종합 검토는 1970년에서 2021년까지 로봇 응용 분야를 중심으로 단안 심도 추정(MDE) 기법에 대한 포괄적인 리뷰를 제공한다. 구조에서 운동 추정(SfM), 수작업 특징, 딥 러닝 기반 접근법을 포함하며, 자율주행, 장애물 회피, 환경 이해 분야의 성능 지표, 데이터셋, 오픈소스 구현, 응용 사례를 평가한다. 향후 주요 연구 방향으로 실시간 효율성, 도메인 적응, 설명 가능성 등이 제시된다.

ABSTRACT

As an essential component for many autonomous driving and robotic activities such as ego-motion estimation, obstacle avoidance and scene understanding, monocular depth estimation (MDE) has attracted great attention from the computer vision and robotics communities. Over the past decades, a large number of methods have been developed. To the best of our knowledge, however, there is not a comprehensive survey of MDE. This paper aims to bridge this gap by reviewing 197 relevant articles published between 1970 and 2021. In particular, we provide a comprehensive survey of MDE covering various methods, introduce the popular performance evaluation metrics and summarize publically available datasets. We also summarize available open-source implementations of some representative methods and compare their performances. Furthermore, we review the application of MDE in some important robotic tasks. Finally, we conclude this paper by presenting some promising directions for future research. This survey is expected to assist readers to navigate this research field.

연구 동기 및 목표

• 1970년에서 2021년까지 단안 심도 추정(MDE) 기법에 대한 완전하고 최신의 종합 검토를 제공하는 것.
• 스테레오 또는 다중 시점 기법과는 별개로 단안 심도 추정을 별도로 다룬 종합적 검토의 부족을 보완하는 것.
• 정확도, 오차, 추론 속도 지표를 기반으로 42개의 대표적 MDE 기법을 평가하고 비교하는 것.
• 자율주행 추정, 장애물 회피, 환경 이해와 같은 주요 로봇 작업에서 MDE의 응용을 검토하는 것.
• 실시간 성능, 도메인 적응, 준지도 학습, 딥 네트워크의 해석 가능성 등 최근의 주요 연구 방향을 식별하고 논의하는 것.

제안 방법

• 1970년에서 2021년 사이에 출판된 단안 심도 추정에 관한 197편의 동료 심사 기반 논문을 체계적으로 검토하였다.
• MDE 기법을 세 가지 주요 범주로 분류: 구조에서 운동 추정(SfM) 기반, 전통적인 수작업 특징 기반, 딥 러닝 기반 기법.
• 표준 평가 지표(예: 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 역심도 오차(IDE))를 사용하여 성능을 평가하였으며, 여러 기준 데이터셋을 통해 결과를 보고하였다.
• 공개된 데이터셋(예: KITTI, NYU Depth v2, Cityscapes, ScanNet)과 주요 모델의 오픈소스 구현을 수집하고 요약하였다.
• 사례 연구를 통해 자율주행 추정, 장애물 회피, 환경 이해 분야에서 MDE의 통합 방식을 분석하였다.
• 모델의 효율성과 정확도를 비교 분석하여, 이동형 로봇 플랫폼에서 실시간 추론과 예측 품질 사이의 상충 관계를 강조하였다.

실험 결과

연구 질문

• RQ1 SfM 및 수작업 특징 기반 기법에서 딥 러닝 기반 기법으로의 전환 과정에서 단안 심도 추정의 핵심 기술적 발전과 성능 추세는 무엇인가?
• RQ2 자원 제약이 있는 이동형 로봇 플랫폼에 구현하기 위해 현재의 MDE 기법들은 정확도와 실시간 추론 성능을 어떻게 균형 잡고 있는가?
• RQ3 다양한 환경과 응용 분야에서 MDE 기법을 비교하기 위해 가장 효과적인 평가 지표와 기준 데이터셋은 무엇인가?
• RQ4 단안 심도 추정은 자율주행 추정, 장애물 회피, 환경 이해 분야에서 로봇 능력을 어떻게 향상시키는가?
• RQ5 특히 도메인 적응, 준지도 학습, 모델의 해석 가능성 측면에서 MDE를 발전시키기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 딥 러닝 기반 MDE 기법은 다양한 환경에서 전통적인 SfM 및 수작업 특징 기반 기법보다 정확도와 강건성 면에서 뛰어나다.
• 높은 정확도를 달성하고도 최신 딥 러닝 모델은 높은 계산 비용을 유발하여 자원 제약이 있는 로봇 플랫폼에 구현하기 어려운 경향이 있다.
• 실시간 MDE 기법은 존재하지만, 비실시간 대비 정확도가 낮아 속도와 정밀도 사이의 지속적인 상충 관계를 드러내고 있다.
• 공개된 데이터셋인 KITTI, NYU Depth v2, Cityscapes 등은 여전히 다양성이 부족하여, 동적 장면, 가림, 극단적인 조명 또는 기상 조건 처리에 어려움을 겪고 있다.
• 준지도 학습 및 도메인 적응 기법은 고비용의 진짜 지표 데이터 의존도를 줄이는데 큰 잠재력을 보이며, 특히 합성 데이터와 실제 세계 데이터를 융합할 경우 유용하다.
• 딥 MDE 네트워크의 해석 가능성은 아직 탐색되지 않은 분야이며, 네트워크가 어떤 특징이나 표현을 학습하는지 분석한 연구가 거의 없어 중요한 연구 격차로 남아 있다.