[논문 리뷰] Monocular Depth Estimation with Augmented Ordinal Depth Relationships

Yuanzhouhan Cao, Tianqi Zhao외 4명|arXiv (Cornell University)|2018. 06. 02.

Advanced Vision and Imaging참고 문헌 44인용 수 5

한 줄 요약

이 논문은 스테레오 영화 영상에서 유도된 상대적 깊이 관계를 활용하여 단안 깊이 추정을 위한 새로운 방법을 제안하며, 밀도 높은 상대적 깊이 주석이 있는 RDIS 데이터셋을 도입한다. RDIS에서 ResNet을 사전학습하고, 정보 이득 손실를 사용한 분류 기반 깊이 추정 방식으로 RGB-D 데이터셋에서 미세조정함으로써, 다중 척도 아키텍처나 CRF 후처리 없이도 NYUD2 및 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most existing algorithms for depth estimation from single monocular images need large quantities of metric groundtruth depths for supervised learning. We show that relative depth can be an informative cue for metric depth estimation and can be easily obtained from vast stereo videos. Acquiring metric depths from stereo videos is sometimes impracticable due to the absence of camera parameters. In this paper, we propose to improve the performance of metric depth estimation with relative depths collected from stereo movie videos using existing stereo matching algorithm. We introduce a new "Relative Depth in Stereo" (RDIS) dataset densely labelled with relative depths. We first pretrain a ResNet model on our RDIS dataset. Then we finetune the model on RGB-D datasets with metric ground-truth depths. During our finetuning, we formulate depth estimation as a classification task. This re-formulation scheme enables us to obtain the confidence of a depth prediction in the form of probability distribution. With this confidence, we propose an information gain loss to make use of the predictions that are close to ground-truth. We evaluate our approach on both indoor and outdoor benchmark RGB-D datasets and achieve state-of-the-art performance.

연구 동기 및 목표

• 스테레오 영상에서 쉽게 확보할 수 있는 풍부한 상대적 깊이 지도를 활용하여 단안 깊이 추정 성능을 향상시키기 위해.
• 기존 RGB-D 데이터셋에서 메트릭 깊이 지도의 부족함과 다양성 부족 문제를 해결하기 위해.
• 메트릭 깊이 예측을 위한 강력한 인도크티브 바이어스로 상대적 깊이를 활용하는 학습 체계를 개발하기 위해.
• 스테레오 영화 영상에서 유도된 밀도 높은 상대적 깊이 주석이 있는 새로운 데이터셋 RDIS를 구축하기 위해.
• 전이 학습을 통해 메트릭 지도와 결합할 때 상대적 깊이 지도가 메트릭 깊이 추정 성능을 크게 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 지속적인 깊이 값을 로그 공간에서 이산적인 박스로 이산화하여 픽셀 단위의 분류 작업으로 깊이 추정을 공식화한다.
• 스테레오 매칭 알고리즘과 수동 후처리를 통해 생성된 상대적 깊이 주석이 포함된 RDIS 데이터셋에서 딥 리뷰지드 네트워크(ResNet)를 사전학습한다.
• 표준 RGB-D 데이터셋(NYUD2, KITTI)에서 메트릭 진짜 깊이 지도를 사용하여 사전학습된 모델을 미세조정한다.
• 분류 헤드의 확률 분포에서 예측 신뢰도를 활용하기 위해 정보 이득 손실를 도입하며, 이는 진짜 깊이에 가까운 예측에 집중한다.
• 미세조정 단계에서는 스테레오 쌍의 왼쪽 이미지만 사용하여 추론 시 스테레오 입력이 필요 없도록 한다.
• 다중 척도 아키텍처나 CRF 후처리에 의존하지 않지만, 최신 기술 수준의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 스테레오 영상에서 추출한 상대적 깊이 관계가 단안 깊이 추정 성능을 크게 향상시킬 수 있는가?
• RQ2 신뢰도 인식 손실를 갖춘 분류 기반 깊이 추정 접근 방식이 기존의 회귀 기반 방법보다 우월한가?
• RQ3 대규모 상대적 깊이 데이터셋(RDIS)에서 사전학습한 모델이 메트릭 깊이 추정 벤치마크에서 더 나은 일반화 성능을 보이는가?
• RQ4 RDIS에서 학습한 모델이 DIW와 같은 다른 상대적 깊이 데이터셋으로 일반화될 수 있는가? (그 데이터셋에서의 미세조정 없이도)
• RQ5 실세계 환경에서 메트릭 깊이 지도의 부족함을 상대적 깊이 지도가 어느 정도 보완할 수 있는가?

주요 결과

• 제안된 방법은 다중 척도 네트워크나 CRF 후처리 없이도 NYUD2 및 KITTI 벤치마크에서 모든 네 가지 평가 지표에서 최신 기술 수준의 성능을 달성한다.
• NYUD2에서 정보 이득 손실의 파라미터 α = 2.0일 때, 모든 네 가지 지표(예: Abs Rel, Sq Rel, RMSE, δ<1.25)에서 최고 성능을 기록한다.
• KITTI에서 최대 깊이를 80m 및 50m로 제한했을 때, 모든 이전 연구를 압도하며 α = 0.2일 때 강력한 일반화 성능을 보이며 외부 환경에서의 성능이 뛰어나다.
• RDIS에서만 미세조정한 모델(Ours-RDIS)은 DIW 데이터셋에서 상대적 깊이 추정 성능에서도 최신 기술 수준을 달성하였으며, DIW의 학습 세트에서의 학습 없이도 성능을 내었다.
• 시각적 결과에서는 특히 세밀한 깊이 변화가 있는 복잡한 환경에서 더 뛰어난 깊이 예측을 생성함을 확인할 수 있다.
• DIW에서의 실패 케이스는 대부분 거리가 거의 동일한 모호한 진짜 값 쌍으로 인해 발생하며, 나머지 케이스에 대해서는 거의 완벽한 성능을 기록하고 있음을 시사한다.