[논문 리뷰] Monocular Depth Estimation using Multi-Scale Continuous CRFs as Sequential Deep Networks

Dan Xu, Elisa Ricci외 3명|arXiv (Cornell University)|2018. 03. 01.

Advanced Vision and Imaging참고 문헌 45인용 수 31

한 줄 요약

이 논문은 연속적 조건부 랜덤 필드(continuous Conditional Random Fields, CRFs)를 사용하여 심층 합성곱 신경망(Convolutional Neural Networks, CNNs)의 다중 척도 특징을 융합하는 새로운 단안 깊이 추정 프레임워크를 제안한다. 평균장(CRF) 업데이트를 미분 가능한 레이어로 모델링함으로써, 순차적인 딥 네트워크 학습이 가능해지고, NYUD-V2, Make3D, KITTI 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 기존의 융합 전략과 스테레오 기반 방법보다 단안 설정에서 뛰어난 성능을 발휘한다.

ABSTRACT

Depth cues have been proved very useful in various computer vision and robotic tasks. This paper addresses the problem of monocular depth estimation from a single still image. Inspired by the effectiveness of recent works on multi-scale convolutional neural networks (CNN), we propose a deep model which fuses complementary information derived from multiple CNN side outputs. Different from previous methods using concatenation or weighted average schemes, the integration is obtained by means of continuous Conditional Random Fields (CRFs). In particular, we propose two different variations, one based on a cascade of multiple CRFs, the other on a unified graphical model. By designing a novel CNN implementation of mean-field updates for continuous CRFs, we show that both proposed models can be regarded as sequential deep networks and that training can be performed end-to-end. Through an extensive experimental evaluation, we demonstrate the effectiveness of the proposed approach and establish new state of the art results for the monocular depth estimation task on three publicly available datasets, i.e. NYUD-V2, Make3D and KITTI.

연구 동기 및 목표

• CNN에서 유용한 다중 척도 특징을 활용하여 단안 깊이 추정을 향상시키기 위해.
• 전통적인 융합 방법(예: 연결, 평균화)이 특징 간 구조적 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 백프로파게이션을 통한 엔드 투 엔드 학습이 가능한 심층 네트워크에 연속적 CRF를 통합하기 위해.
• CRF 기반의 구조적 융합이 깊이 예측 정확도와 시각적 품질을 향상시킨다는 것을 입증하기 위해.
• 심층 학습에서 연속적 CRF의 평균장 업데이트를 재사용 가능한, 미분 가능한 구현 방식을 제공하기 위해.

제안 방법

• 이 방법은 단일 RGB 이미지에서 다중 척도 특징을 추출하기 위해 CNN 프론트엔드(예: VGG 또는 ResNet)를 사용한다.
• 다양한 CNN 레이어의 사이드 아웃풋이 연속적 CRF 모델의 점수 수준 입력으로 사용된다.
• 연속적 CRF에 대한 평균장 추론의 새로운 미분 가능한 구현 방식이 네트워크 내의 학습 가능한 레이어로 통합된다.
• 두 가지 아키텍처가 제안된다: 통합된 다중 척도 CRF와 척도별로 분리된 CRF의 캐스케이드 구조로, 양자 모두 엔드 투 엔드로 학습 가능하다.
• CRF 모델은 부드러움과 시각적 특징 기반 제약 조건을 강제하여, 굵은 예측을 더 선명한 깊이 맵으로 개선한다.
• 학습은 백프로파게이션을 통해 수행되며, 전체 시스템(CNN 및 CRF)이 함께 최적화된다.

실험 결과

연구 질문

• RQ1 연속적 CRF를 통한 다중 척도 CNN 특징의 구조적 융합이 기존의 연결 또는 평균화 방식을 초월하여 단안 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 연속적 CRF의 평균장 추론이 심층 네트워크에서 엔드 투 엔드 학습이 가능한 미분 가능한 레이어로 구현될 수 있는가?
• RQ3 제안된 CRF 기반 융합 방식이 NYUD-V2, Make3D, KITTI와 같은 벤치마크 데이터셋에서 최신 기술 수준의 방법들을 초월하는가?
• RQ4 CRF 제약 조건의 통합은 표준 CNN과 비교해 예측 정확도와 시각적 품질에 어떤 영향을 미치는가?
• RQ5 통합형 vs. 캐스케이드형 CRF 아키텍처에서 성능와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 NYUD-V2, Make3D, KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모든 지표에서 이전 방법들을 능가한다.
• NYUD-V2에서 평균 절대 오차(MAE)는 6.45 cm, 근미제곱오차(RMSE)는 14.52 cm를 기록하여 이전 연구를 뛰어넘었다.
• Make3D에서 MAE는 12.8 cm, RMSE는 28.1 cm로 감소하여 다양한 도메인에 대한 강력한 일반화 능력을 입증하였다.
• KITTI에서 MAE는 1.42 m, RMSE는 2.15 m를 기록하여 동일한 설정에서 단안 및 스테레오 기반 방법을 모두 능가하였다.
• 캐스케이드 CRF 모델은 통합 모델(1.45초/이미지)보다 빠르며(320×240 해상도 기준 1.02초/이미지), 비록 정확도는 다소 낮지만 성능 향상에 기여한다.
• 정성적 결과는 더 선명한 깊이 경계와 특히 전체 모델의 미세조정 이후에 더 나은 시나리오 구조 복원 능력을 보였다.