[논문 리뷰] Multi-Scale Continuous CRFs as Sequential Deep Networks for Monocular Depth Estimation

Dan Xu, Elisa Ricci외 3명|arXiv (Cornell University)|2017. 04. 07.

Advanced Vision and Imaging참고 문헌 31인용 수 42

한 줄 요약

이 논문은 단일 RGB 이미지에서 단일 깊이 추정을 위해 다중 스케일 연속 CRF 프레임워크를 제안하며, 다양한 CNN 레이어의 특징을 융합하기 위해 새로운 CNN 기반 평균장 추론 구현을 통해 순차적 딥 네트워크를 엔드 투 엔드로 훈련시킵니다. 이 방법은 NYU Depth V2 및 Make3D 데이터셋에서 기존의 최고 성능 기준을 초월하며, 훨씬 적은 훈련 데이터로도 성능을 냅니다.

ABSTRACT

This paper addresses the problem of depth estimation from a single still image. Inspired by recent works on multi- scale convolutional neural networks (CNN), we propose a deep model which fuses complementary information derived from multiple CNN side outputs. Different from previous methods, the integration is obtained by means of continuous Conditional Random Fields (CRFs). In particular, we propose two different variations, one based on a cascade of multiple CRFs, the other on a unified graphical model. By designing a novel CNN implementation of mean-field updates for continuous CRFs, we show that both proposed models can be regarded as sequential deep networks and that training can be performed end-to-end. Through extensive experimental evaluation we demonstrate the effective- ness of the proposed approach and establish new state of the art results on publicly available datasets.

연구 동기 및 목표

• 딥 러닝을 사용하여 단일 RGB 이미지에서 정확한 단일 깊이 추정 문제를 해결합니다.
• 기존의 다중 스케일 융합 방법(예: 연결 또는 평균화)의 한계를 극복하기 위해 구조적 확률 모델링을 활용합니다.
• 연속 조건부 랜덤 필드(CRFs)를 통합하여 다중 스케일 CNN 특징을 최적화하여 깊이 예측 성능을 향상시킵니다.
• CRF의 평균장 업데이트를 CNN 내의 미분 가능한 레이어로 공식화하여 전체 모델의 엔드 투 엔드 훈련을 가능하게 합니다.
• 다양한 사전 훈련된 CNN 백본을 사용하여 다양한 데이터셋에서 일반화 능력과 성능 향상을 입증합니다.

제안 방법

• 두 가지 변형을 제안합니다: 다중 스케일 CRF의 통합형과 스케일별로 특화된 CRF의 캐스케이드 구조로, 여러 CNN 사이드 아웃풋의 특징을 융합합니다.
• 연속 CRF를 위한 새로운 CNN 기반 평균장 추론 구현을 설계하여, 미분 가능하고 엔드 투 엔드 훈련이 가능한 구조를 확보합니다.
• CRF 추론 과정을 순차적 딥 네트워크로 간주하여 전체 아키텍처를 통해 역전파가 가능하도록 합니다.
• 공간적 종속성을 모델링하는 연속 CRF 에너지 함수를 사용하며, 부드러움 항과 데이터 적합성 항을 포함합니다.
• 평균장 업데이트의 미분 가능 근사치를 사용하여, 역전파 동안 CRF 레이어를 통해 기울기가 흐르도록 합니다.
• 다양한 CNN 아키텍처(예: ResNet-50)에 프레임워크를 적용하고, 소규모 데이터셋에서 미세조정을 수행합니다.

실험 결과

연구 질문

• RQ1 연속 CRF는 CNN 사이드 아웃풋에서 유도된 다중 스케일 특징을 효과적으로 융합하여 단일 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 연속 CRF의 평균장 추론을 CNN 내의 미분 가능한 레이어로 구현할 수 있는가? 이를 통해 엔드 투 엔드 훈련이 가능한가?
• RQ3 제안된 CRF 기반 융합 전략은 기존의 전통적인 다중 스케일 융합 기법(예: 특징 연결 또는 다중 손실 훈련)보다 우수한가?
• RQ4 기존의 최고 성능 기준 대비 훨씬 적은 훈련 데이터로도 최고 성능을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 CNN 백본과 벤치마크 데이터셋 간에 일반화 가능한가?

주요 결과

• 제안된 다중 스케일 CRF 프레임워크는 이전의 연결 또는 다중 손실 훈련 기반 다중 스케일 융합 방법보다 우수한 성능을 보입니다.
• NYU Depth V2 데이터셋에서, 10,000장의 사전 훈련 이미지만으로도 상대 오차(rel)가 0.121이고 log10 오차가 0.052를 기록하며, 이는 더 적은 데이터로도 이전 최고 성능 기준을 초월합니다.
• Make3D 데이터셋에서, 10,000장의 사전 훈련 이미지로 log10 오차 0.065와 RMS 오차 4.38을 달성하며, Huber 손실을 사용한 Laina 등 [18]의 결과를 뛰어넘습니다.
• 캐스케이드 및 다중 스케일 CRF 변형 모두 Liu 등 [20]의 결과를 뛰어넘으며, 더 빠른 추론(약 1초/이미지)을 제공합니다.
• NYU Depth V2 및 Make3D 양쪽 데이터셋에서 최고 성능을 기록하며, 모든 설정에서 rel, log10, RMS, delta 지표에서 향상된 성능을 보입니다.
• 제안된 CNN 기반 평균장 구현은 일반화 가능하며, 연속 변수를 포함한 다른 픽셀 수준의 회귀 작업에 적용 가능합니다.