[논문 리뷰] Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Inference

Bo Li, Yuchao Dai외 1명|arXiv (Cornell University)|2017. 08. 02.

Advanced Vision and Imaging참고 문헌 24인용 수 8

한 줄 요약

이 논문은 확장된 컨볼루션과 계층적 특징 융합을 사용하여 깊이 예측을 다중 분류 작업으로 재구성함으로써 다중 스케일 깊이 신호를 포착하는 엔드 투 엔드 단안 깊이 추정 프레임워크를 제안한다. 하드맥스 대신 소프트-가중합 추론을 사용함으로써 양자화 오차를 감소시키고 연속적인 깊이 확률 분포를 학습하여 NYU Depth V2 및 KITTI 데이터셋에서 각각 82.0% 정확도와 0.139 상대 오차를 달성하며 최신 기술 수준을 확보한다.

ABSTRACT

Monocular depth estimation is a challenging task in complex compositions depicting multiple objects of diverse scales. Albeit the recent great progress thanks to the deep convolutional neural networks (CNNs), the state-of-the-art monocular depth estimation methods still fall short to handle such real-world challenging scenarios. In this paper, we propose a deep end-to-end learning framework to tackle these challenges, which learns the direct mapping from a color image to the corresponding depth map. First, we represent monocular depth estimation as a multi-category dense labeling task by contrast to the regression based formulation. In this way, we could build upon the recent progress in dense labeling such as semantic segmentation. Second, we fuse different side-outputs from our front-end dilated convolutional neural network in a hierarchical way to exploit the multi-scale depth cues for depth estimation, which is critical to achieve scale-aware depth estimation. Third, we propose to utilize soft-weighted-sum inference instead of the hard-max inference, transforming the discretized depth score to continuous depth value. Thus, we reduce the influence of quantization error and improve the robustness of our method. Extensive experiments on the NYU Depth V2 and KITTI datasets show the superiority of our method compared with current state-of-the-art methods. Furthermore, experiments on the NYU V2 dataset reveal that our model is able to learn the probability distribution of depth.

연구 동기 및 목표

• 다양한 물체 크기를 포함한 복잡한 환경에서 다중 스케일 깊이 추정의 과제를 해결하기 위해.
• 데이터 불균형과 깊이 양자화에 민감한 회귀 기반 방법의 한계를 극복하기 위해.
• 학습 가능한 확률 분포를 활용해 깊이를 분류 작업으로 모델링함으로써 정확성과 강인성을 향상시키기 위해.
• 양자화 오차를 감소시키고 일반화 성능을 향상시키기 위해 소프트-가중합 추론을 통해 실현하기 위해.

제안 방법

• 회귀 대신 다중 분류 문제로 단안 깊이 추정을 재구성함으로써 세그멘테이션 기반 딥 러닝 기법을 활용할 수 있도록 한다.
• 수평적 특징 융합을 통해 다양한 네트워크 단계의 다중 스케일 특징을 결합하여 스케일 인식 깊이 표현을 구현한다.
• 소프트-가중합 추론을 적용하여 이산적 깊이 카테고리 점수를 연속적인 깊이 예측으로 변환함으로써 양자화 오차를 최소화한다.
• 다중 로지스틱 손실을 사용하여 네트워크를 훈련함으로써 인접한 깊이 카테고리 간 유사성을 암묵적으로 학습할 수 있도록 한다.
• 출력된 확률 분포를 활용해 깊이 예측을 안정화하고 연속성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단안 깊이 추정을 다중 분류 작업으로 효과적으로 재구성함으로써 다중 스케일 깊이 예측 성능을 향상시킬 수 있는가?
• RQ2 확장된 특징의 계층적 융합이 깊이 추정에서 스케일 인식 능력을 어떻게 향상시키는가?
• RQ3 하드맥스 추론 대비 소프트-가중합 추론이 양자화 오차를 감소시키고 예측의 연속성을 향상시키는가?
• RQ4 분류 기반 네트워크는 공간적 및 깊이 관계를 반영하는 의미 있는 깊이 확률 분포를 학습할 수 있는가?

주요 결과

• 제안된 방법은 NYU Depth V2 데이터셋에서 82.0% 픽셀 정확도와 0.139 상대 오차(Rel)를 달성하여 최신 기술 수준을 초월한다.
• 소프트-가중합 추론은 하드맥스 추론 대비 오차를 0.139 Rel로 감소시키고 정확도를 82.0%로 향상시켰으며, 하드맥스 기반 결과는 0.142 Rel과 81.82% 정확도를 기록한다.
• 성분 분석 결과, 확장 컨볼루션과 스킵 연결이 모두 핵심 요소이며, 제거 시 정확도가 3% 이상 감소함을 확인하였다.
• 네트워크는 깊이 카테고리 간 대칭적이고 가우시안 유사 확률 분포를 학습함을 보여주어 깊이 유사성과 근접성을 효과적으로 포착하고 있음을 시사한다.
• 깊이 박스 수를 50에서 1000으로 증가시켰을 때 픽셀 정확도는 67%에서 7%로 감소하지만, 상대 오차(Rel)는 약 0.14로 안정되어 있어 미세한 해상도에서의 깊이 인식 능력이 제한됨을 보여준다.
• 혼동 행렬 분석 결과 대각선 우세성과 대칭성이 확인되어 오류가 주로 인접한 깊이 클래스 간에 발생함을 입증하며, 소프트 추론의 필요성을 뒷받침한다.