[논문 리뷰] Outdoor Monocular Depth Estimation: A Research Review

Pulkit Vyas, Chirag Saxena외 2명|arXiv (Cornell University)|2022. 05. 03.

Advanced Vision and Imaging인용 수 11

한 줄 요약

이 논문은 실외 단안 영상 깊이 추정에 대한 종합적인 서베이를 제공하며, 데이터셋, 딥러닝 기법, 훈련 철학, 과제를 검토한다. 장거리 실외 환경에서 자기지도 학습(self-supervised learning)이 핵심 접근법으로 떠오르고 있음을 강조하며, 장거리 데이터 수집, 의미 정보 통합, 실시간 추론 분야의 열린 연구 과제를 밝히고 있다.

ABSTRACT

Depth estimation is an important task, applied in various methods and applications of computer vision. While the traditional methods of estimating depth are based on depth cues and require specific equipment such as stereo cameras and configuring input according to the approach being used, the focus at the current time is on a single source, or monocular, depth estimation. The recent developments in Convolution Neural Networks along with the integration of classical methods in these deep learning approaches have led to a lot of advancements in the depth estimation problem. The problem of outdoor depth estimation, or depth estimation in wild, is a very scarcely researched field of study. In this paper, we give an overview of the available datasets, depth estimation methods, research work, trends, challenges, and opportunities that exist for open research. To our knowledge, no openly available survey work provides a comprehensive collection of outdoor depth estimation techniques and research scope, making our work an essential contribution for people looking to enter this field of study.

연구 동기 및 목표

• 실외 단안 영상 깊이 추정에 초점을 맞춘 공개된 데이터셋을 체계적으로 검토하기 위해.
• 실외 깊이 추정을 위한 딥러닝 기반 기법의 발전 과정과 현재 상태를 분석하기 위해.
• 한정된 시야 변화와 희박한 실세계 데이터로 인해 발생하는 장거리 깊이 추정의 주요 과제를 규명하기 위해.
• 의미 분할과 깊이 추정을 융합하여 성능 향상과 효율성 향상을 도모하기 위해.
• 실외 응용 분야에서 데이터 수집, 모델 효율성, 실시간 추론 분야의 열린 연구 기회를 부각하기 위해.

제안 방법

• CVPR 및 ICCV 논문을 기반으로 한 후행적 스노우볼링 문헌 검색을 수행하였으며, Google Scholar, Scopus, Connected Paper에서 关련 키워드 검색을 보완하였다.
• 실세계, 합성, 풍경 전경 등 실외 콘텐츠 기반으로 데이터셋을 분류하였으며, 장거리 및 장면 다양성에 중점을 두었다.
• MonoDepth2(U-Net에 카메라 자세 추정 네트워크 결합) 및 SuperDepth(초해상도 기반)와 같은 딥러닝 모델을 조사하였으며, 아키텍처 설계와 손실 함수에 중점을 두었다.
• 영상 일관성과 재투영 손실을 활용해 진위 깊이 레이블 없이도 가짜 레이블을 생성하는 자기지도 학습(SSL) 프레임워크를 분석하였다.
• LiDAR 데이터와 SSL을 융합하여 실외 환경에서 깊이 보완(depth completion)을 수행하는 하이브리드 접근법을 평가하였다.
• 고정된 카메라 설정에 의존도를 낮추고 일반화 능력을 향상시키기 위해 SSL에서 트랜스포머 기반 아키텍처를 탐색하였다.

실험 결과

연구 질문

• RQ1 실제로 사용 가능한 실외 단안 영상 깊이 추정 모델 훈련 및 평가를 위한 공개 데이터셋은 현재 어떤 것이 있는가?
• RQ2 한정된 진위 깊이 데이터가 존재하는 실외 환경에서 자기지도 학습 기법은 깊이 추정 성능을 어떻게 향상시키는가?
• RQ3 현재 딥러닝 모델의 주요 제약은 무엇인가? 특히 시야 변화가 적고 데이터가 희박한 장거리 실외 환경에서의 성능을 고려할 때.
• RQ4 의미 분할을 깊이 추정에 효과적으로 통합하면 계산 오버헤드를 줄이고 정확도를 높일 수 있는가?
• RQ5 실제 응용에서 실외 단안 영상 깊이 추정의 실시간 추론을 달성하는 데 주요 과제는 무엇인가?

주요 결과

• 공개된 실외 깊이 추정 데이터셋의 수는 여전히 제한되어 있으며, 특히 100미터 이상의 장거리 환경에 대해서는 부족하여 모델 일반화에 큰 장벽이 되고 있다.
• 자기지도 학습(SSL)이 주요 훈련 철학으로 부상하여, 영상 시퀀스를 활용해 고비용의 진위 깊이 레이블 의존도를 최소화하고 효과적인 깊이 추정을 가능하게 하였다.
• MonoDepth2와 SuperDepth와 같은 모델은 U-Net 아키텍처와 자세 추정, 재투영 손실을 결합하여 가림 현상 처리와 공간 일관성 향상을 달성해 최신 기준 성능을 기록하고 있다.
• SSL 프레임워크에 불확실성 모델링을 통합함으로써, 특히 도전적인 실외 조건에서 더 높은 강인성과 성능 향상을 이끌어냈다.
• 시뮬레이터에서 생성한 합성 데이터셋은 장거리 데이터 생성에 유망하지만, 일반적으로 현실적이지 않은 조명, 안개, 시점 기하학적 왜곡 문제를 야기하여 주의 깊은 도메인 적응이 필요하다.
• 3D CNN과 트랜스포머의 높은 계산 요구량으로 인해 현재 모델들은 실시간 추론에 어려움을 겪고 있으며, 실세계 구현을 위해 경량 아키텍처 개발이 절실한 상황이다.