[논문 리뷰] Deep Convolutional Neural Fields for Depth Estimation from a Single Image

Fayao Liu, Chunhua Shen외 1명|arXiv (Cornell University)|2014. 11. 24.

Advanced Vision and Imaging참고 문헌 15인용 수 14

한 줄 요약

이 논문은 단일 이미지 깊이 추정을 위한 통합된 딥 CNN 프레임워크를 사용하여 연속 조건부 랜드 필드(CRF)의 단항 및 이항 잠재변수를 함께 학습하는 딥 컨volution 신경장치 모델을 제안한다. 정확한 로그우도 최적화와 닫힘형 최대사후확률(MAP) 추론을 가능하게 함으로써 기하학적 사전 지식이나 추가 애너테이션 없이 실내 및 실외 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the problem of depth estimation from a single monocular image in this work. It is a challenging task as no reliable depth cues are available, e.g., stereo correspondences, motions, etc. Previous efforts have been focusing on exploiting geometric priors or additional sources of information, with all using hand-crafted features. Recently, there is mounting evidence that features from deep convolutional neural networks (CNN) are setting new records for various vision applications. On the other hand, considering the continuous characteristic of the depth values, depth estimations can be naturally formulated into a continuous conditional random field (CRF) learning problem. Therefore, we in this paper present a deep convolutional neural field model for estimating depths from a single image, aiming to jointly explore the capacity of deep CNN and continuous CRF. Specifically, we propose a deep structured learning scheme which learns the unary and pairwise potentials of continuous CRF in a unified deep CNN framework. The proposed method can be used for depth estimations of general scenes with no geometric priors nor any extra information injected. In our case, the integral of the partition function can be analytically calculated, thus we can exactly solve the log-likelihood optimization. Moreover, solving the MAP problem for predicting depths of a new image is highly efficient as closed-form solutions exist. We experimentally demonstrate that the proposed method outperforms state-of-the-art depth estimation methods on both indoor and outdoor scene datasets.

연구 동기 및 목표

• 스테레오, 운동, 또는 기하학적 사전 지식에 의존하지 않고 단일 이미지 깊이 추정 문제를 해결하기 위해.
• 딥 컨volution 신경망 특징을 연속 CRF와 통합하여 구조적 회귀를 수행하기 위해.
• CRF 모델에서 분할 함수를 해석적으로 계산함으로써 정확한 로그우도 최적화를 가능하게 하기 위해.
• 닫힘형 해를 통한 최대사후확률(MAP) 추론을 통해 깊이 예측의 효율성을 확보하기 위해.
• 수동으로 설계된 특징이나 외부 애너테이션을 요구하지 않고 다양한 시나리오 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 깊이 추정 문제를 연속 CRF 학습 문제로 공식화하여 깊이 값을 연속 랜드 변수로 모델링한다.
• 백프로파게이션를 사용하여 딥 CNN 프레임워크 내에서 단항 및 이항 잠재변수를 함께 학습한다.
• 잠재변수 함수의 가우시안 형태 덕분에 CRF의 분할 함수가 해석적으로 계산 가능하여 정확한 로그우도 최적화를 가능하게 한다.
• 스퍼피셀 기반 특징 표현을 사용하여 CRF 내의 공간적 관계를 정의하고, 사전 훈련된 CNN를 통해 특징을 추출한다.
• 행렬 미분법을 사용하여 단항 및 이항 잠재변수 파라미터의 기울기를 정확히 계산함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 새로운 이미지에 대한 깊이 예측은 MAP 추론 문제의 닫힘형 해를 통해 수행되어 높은 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 CNN와 연속 CRF를 효과적으로 조합하여 단일 이미지 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 연속 CRF 프레임워크에서 정확한 로그우도 최적화가 근사 추론 방법보다 성능을 향상시키는가?
• RQ3 딥 구조적 모델에서 닫힘형 MAP 추론을 달성할 수 있는가, 이는 빠르고 정확한 깊이 예측을 가능하게 하는가?
• RQ4 기하학적 사전 지식이나 추가 애너테이션 없이도 제안된 방법이 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ5 스퍼피셀 수가 제안된 프레임워크에서 정확도와 훈련 시간 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 실내 및 실외 깊이 추정 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가한다.
• 모델은 이전 방법들보다 낮은 루트 평균 제곱(RMS) 오차를 기록하며, 슈퍼피셀 수가 증가할수록 성능 향상이 관찰된다.
• 스퍼피셀 수가 증가함에 따라 훈련 시간이 증가하지만 정확도 역시 향상되어 정밀도와 효율성 간의 조절 가능한 트레이드오프를 보여준다.
• MAP 추론을 위한 닫힘형 해를 통해 빠른 깊이 예측이 가능하여 실생활 응용에 실용적이다.
• 분할 함수를 해석적으로 계산할 수 있어 근사 오차 없이 정확한 로그우도 최적화가 가능하다.
• 장면 특화 사전 지식이나 애너테이션된 의미적 레이블이 필요 없이 다양한 시나리오에 잘 일반화된다.