[논문 리뷰] Estimating Depth from Monocular Images as Classification Using Deep Fully Convolutional Residual Networks

Yuanzhouhan Cao, Zifeng Wu외 1명|arXiv (Cornell University)|2016. 05. 08.

Advanced Vision and Imaging참고 문헌 25인용 수 44

한 줄 요약

이 논문은 연속적인 깊이 값들을 이산적인 박스로 이산화하여 깊이 예측을 픽셀 단위 분류 작업으로 재구성함으로써 새로운 단안 깊이 추정 방법을 제안한다. 정보 이득 손실과 완전 연결 CRF를 활용한 후처리를 거친 깊이 전용 완전 컨volution 신경망(ResNet 기반)을 사용하여, NYUD2, KITTI, SUN RGB-D 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 정확도 향상과 공간 일관성 향상을 위해 신뢰도 인식 예측을 활용함으로써 회귀 기반 방법을 능가한다.

ABSTRACT

Depth estimation from single monocular images is a key component of scene understanding and has benefited largely from deep convolutional neural networks (CNN) recently. In this article, we take advantage of the recent deep residual networks and propose a simple yet effective approach to this problem. We formulate depth estimation as a pixel-wise classification task. Specifically, we first discretize the continuous depth values into multiple bins and label the bins according to their depth range. Then we train fully convolutional deep residual networks to predict the depth label of each pixel. Performing discrete depth label classification instead of continuous depth value regression allows us to predict a confidence in the form of probability distribution. We further apply fully-connected conditional random fields (CRF) as a post processing step to enforce local smoothness interactions, which improves the results. We evaluate our approach on both indoor and outdoor datasets and achieve state-of-the-art performance.

연구 동기 및 목표

• 회귀 기반 깊이 추정의 한계를 해결하기 위해, 정확한 깊이 값 예측에 어려움을 겪고 신뢰도 추정 기능이 내재되어 있지 않은 점을 개선한다.
• 깊이 범위의 픽셀 단위 분류로 작업을 재구성함으로써 깊이 추정의 정확성과 내성적 강건성을 향상시킨다.
• 분류의 출력 확률 분포를 활용하여 정보 이득 손실을 통한 향상된 훈련과 완전 연결 CRF를 통한 후처리를 통해 성능을 향상시킨다.
• NYUD2, KITTI, SUN RGB-D를 포함한 표준 벤치마크에서 최신 기술 수준 성능을 입증하며, 데이터셋 간 일반화 능력도 입증한다.

제안 방법

• 실내 데이터셋의 경우 깊이 값을 로그 공간에서 100개의 박스로, KITTI의 경우 50개의 박스로 이산화하여 분류 기반 예측을 가능하게 한다.
• 각 픽셀의 깊이 박스에 대한 확률 분포를 예측하기 위해 깊이 전용 완전 컨volution 신경망(ResNet 기반)을 훈련한다.
• 정답에 가까운 예측에 더 높은 가중치를 할당하는 정보 이득 손실을 도입하여 훈련 효율성과 정확도를 향상시킨다.
• 공간적 맥락과 신뢰도 점수를 활용하여 예측을 정밀하게 다듬기 위해 완전 연결 조건부 랜덤 필드(CRF)를 후처리로 적용한다.
• 분류의 출력 확률 분포를 활용해 복잡한 방법(예: 몬테카를로 드롭아웃) 없이도 자연스럽게 예측의 신뢰도를 인코딩한다.
• 실세계 환경에서 깊이 값의 긴 꼬리 분포를 더 잘 다루기 위해 로그 공간의 박스 이산화를 활용한다.

실험 결과

연구 질문

• RQ1 회귀 대신 분류 작업으로 단안 깊이 추정을 재구성할 경우 성능 향상과 신뢰도 추정이 향상되는가?
• RQ2 근처 깊이 예측에 더 높은 가중치를 할당하는 정보 이득 손실은 모델 훈련과 정확도에 어떤 영향을 미치는가?
• RQ3 완전 연결 CRF를 활용해 공간적 맥락과 신뢰도 점수를 활용할 경우 깊이 추정 성능이 얼마나 향상되는가?
• RQ4 제안된 분류 기반 방법이 NYUD2와 SUN RGB-D와 같은 서로 다른 데이터셋 간에 잘 일반화되는가?
• RQ5 정량적 지표와 시각적 품질 측면에서 이 방법은 최신 기술 수준의 회귀 기반 모델과 비교해 어떻게 성과를 내는가?

주요 결과

• NYUD2 데이터셋에서 제안된 방법은 평균 절대 오차(abs rel) 0.127, log10 0.127, RMS 0.839를 기록하며 이전 최신 기술 수준 방법을 능가한다.
• KITTI 데이터셋에서 모델은 delta<1.25 비율 88.2%와 log10 0.127을 달성하여 이전 접근 방식을 크게 능가한다.
• 정보 이득 손실과 완전 연결 CRF의 조합은 특히 저신뢰도 예측 영역에서 성능 향상에 상당한 기여를 한다.
• 다른 데이터셋으로의 평가 결과, NYUD2에서 훈련한 모델이 SUN RGB-D 데이터셋에서 56.3% 정확도와 0.256의 rel 오차를 기록하며 잘 일반화됨을 확인했다.
• 정성적 결과는 특히 CRF 후처리 이후 기준 방법 대비 더 선명한 깊이 경계와 더 일관된 예측을 보여준다.