[논문 리뷰] A Compromise Principle in Deep Monocular Depth Estimation

Huan Fu, Mingming Gong외 2명|arXiv (Cornell University)|2017. 08. 28.

Advanced Vision and Imaging참고 문헌 51인용 수 11

한 줄 요약

이 논문은 단일 렌즈 깊이 추정에서 최적화를 용이하게 하기 위해 공간 해상도와 깊이 해상도 간의 균형을 맞추는 '중재 원칙'을 적용한 회귀-분류 계단식 네트워크(RCCN)를 제안한다. 저해상도 연속 깊이 브랜치와 고해상도 이산 깊이 브랜치를 함께 훈련시킴으로써, NYU Depth V2, KITTI, Make3D 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 핵심 지표에서 이전 방법들을 능가한다.

ABSTRACT

Monocular depth estimation, which plays a key role in understanding 3D scene geometry, is fundamentally an ill-posed problem. Existing methods based on deep convolutional neural networks (DCNNs) have examined this problem by learning convolutional networks to estimate continuous depth maps from monocular images. However, we find that training a network to predict a high spatial resolution continuous depth map often suffers from poor local solutions. In this paper, we hypothesize that achieving a compromise between spatial and depth resolutions can improve network training. Based on this "compromise principle", we propose a regression-classification cascaded network (RCCN), which consists of a regression branch predicting a low spatial resolution continuous depth map and a classification branch predicting a high spatial resolution discrete depth map. The two branches form a cascaded structure allowing the classification and regression branches to benefit from each other. By leveraging large-scale raw training datasets and some data augmentation strategies, our network achieves top or state-of-the-art results on the NYU Depth V2, KITTI, and Make3D benchmarks.

연구 동기 및 목표

• 고해상도 연속 깊이 예측이 훈련 중에 나쁜 국소 최소값에 빠지기 쉬운 단일 렌즈 깊이 추정의 부족한 문제를 해결하기 위해.
• 공간 해상도와 깊이 해상도 간의 중재가 학습을 단순화함으로써 딥 네트워크의 최적화 안정성을 향상시킬 수 있다는 가설을 세우기 위해.
• 더 나은 일반화와 성능을 위해 연속 및 이산 깊이 감독을 모두 활용하는 공동 학습 프레임워크를 개발하기 위해.
• 표준 벤치마크에서 변형된 버전과의 비교 및 추론 분석을 통해 중재 원칙의 효과를 검증하기 위해.

제안 방법

• 저해상도 연속 깊이를 위한 회귀 브랜치와 고해상도 이산 깊이를 위한 분류 브랜치를 갖춘 계단식 딥 네트워크 아키텍처를 제안한다.
• 깊이 간격을 이산화한 후 분류 손실을 적용하여 직접적인 회귀보다 훈련 안정성 향상과 RMSE 감소를 달성한다.
• 분류 브랜치가 합성곱 층의 특징과 저해상도 연속 깊이 맵을 모두 입력으로 사용하는 계단식 구조를 도입한다.
• 일반화 및 훈련 중 강인성을 향상시키기 위해 데이터 증강 및 대규모 원시 데이터셋을 활용한다.
• 훈련 후에 해상도를 높이면서 공간 세부 정보를 유지하는 리파인먼트 및 융합 네트워크를 도입한다.
• 두 브랜치의 균형을 맞추기 위해 병합된 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 공간 해상도와 깊이 해상도 간의 중재가 단일 렌즈 깊이 추정에서 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 이산 깊이 간격으로 깊이 회귀 문제를 분류 문제로 변환하면 최적화가 더 잘 되고 RMSE가 낮아지는가?
• RQ3 회귀 브랜치가 분류 브랜치를 지원하는 계단식 구조가 깊이 추정 정확도 향상에 얼마나 기여하는가?
• RQ4 저해상도 연속 깊이 브랜치를 제거하거나 오직 분류 브랜치만 사용하는 변형과 비교했을 때, 제안된 RCCN 아키텍처는 어떻게 성능을 냈는가?
• RQ5 KITTI에서만 훈련된 모델이 KITTI 외의 도메인, 예를 들어 Cityscapes에서 훈련 중에 볼 수 없었던 도메인으로 일반화되는가?

주요 결과

• 제안된 RCCN은 NYU Depth V2 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 고해상도 이산 깊이 예측이 이전 방법들보다 크게 뛰어나다.
• KITTI에서 모델는 경쟁 가능한 성능을 기록하였으며, 다른 데이터셋에서 훈련된 점을 감안할 때 외부 주행 환경에 대한 강력한 일반화 능력을 보였다.
• Make3D에서 모델는 C1 및 C2 오차를 포함한 모든 오차 지표에서 최신 기술 수준 성능을 달성하였으며, 외부 환경에서의 강건성을 확인하였다.
• 추론 분석 결과, 저해상도 연속 깊이 브랜치를 제거하면(D0) 두 브랜치 모두 성능 저하가 발생하여, 회귀 브랜치와 분류 브랜치 간 상호 이점이 있음을 입증하였다.
• RCCN과 분류-분류 계단식 구조(СССN) 간의 비교에서 연속 및 이산 감독을 병합한 것이 오직 이산 감독만 사용하는 것보다 더 우수한 결과를 낸다.
• KITTI에서 훈련된 모델는 Cityscapes로의 일반화 능력이 뛰어나, 시나리오 레이아웃과 객체 깊이를 정확하게 예측하였다. 이는 강력한 도메인 일반화 능력을 시사한다.