[논문 리뷰] Single-Image Depth Perception in the Wild

Weifeng Chen, Fu Zhao외 2명|arXiv (Cornell University)|2016. 04. 13.

Advanced Vision and Imaging참고 문헌 27인용 수 98

한 줄 요약

이 작업은 상대-depth 주석이 있는 Depth in the Wild (DIW) 데이터셋을 도입하고 단일 이미지에서 상대-depth 감독으로 메트릭 깊이를 예측하는 단일 엔드-투-엔드 심층 네트워크를 제시하며, 야생 이미지에서 최첨단 성능을 달성한다.

ABSTRACT

This paper studies single-image depth perception in the wild, i.e., recovering depth from a single image taken in unconstrained settings. We introduce a new dataset "Depth in the Wild" consisting of images in the wild annotated with relative depth between pairs of random points. We also propose a new algorithm that learns to estimate metric depth using annotations of relative depth. Compared to the state of the art, our algorithm is simpler and performs better. Experiments show that our algorithm, combined with existing RGB-D data and our new relative depth annotations, significantly improves single-image depth perception in the wild.

연구 동기 및 목표

• 제약 없는 실제 세계 환경(야생)에서 단일 이미지로부터 깊이 추정을 촉진한다.
• 다양한 이미지에 대한 상대 깊이 주석이 포함된 대규모 데이터셋(Depth in the Wild)을 생성한다.
• 상대 깊이 감독으로 훈련되는 엔드-투-엔드 심층 네트워크를 개발하여 메트릭 깊이를 예측한다.
• DIW를 기존 RGB-D 데이터와 결합하면 야생에서의 깊이 추정이 향상됨을 보여준다.

제안 방법

• 495K개의 다양한 야생 이미지에 대해 상대 깊이 주석을 크라우드소싱하고 이미지당 한 점-쌍을 샘플링한다.
• 상대 깊이 손실로 훈련된 픽셀 단위 메트릭 깊이를 출력하는 엔드-투-엔드 심층 네트워크를 제안한다.
• 다중 스케일 hourglass 스타일 아키텍처와 스킵 연결을 사용하여 스케일 간 정보를 전달한다.
• 질의된 점 쌍의 깊이에 대해 올바른 순서를 강제하고 동등성을 보장하는 랭킹형 손실로 학습한다.
• NYU Depth(실내)와 DIW 데이터셋(야생)에서 평가하여 기존 방법 대비 향상을 보인다.

실험 결과

연구 질문

• RQ1 야생 이미지의 상대 깊이 주석을 사용하여 단일 이미지로부터 정확한 메트릭 깊이를 학습할 수 있는가?
• RQ2 상대 깊이 손실로 학습된 엔드-투-엔드 네트워크가 야생에서 서수 관계 기반 방법 및 RGB-D 감독 기초 모델을 능가하는가?
• RQ3 RGB-D 데이터로의 사전 학습과 DIW에서의 미세 조정이 다양한 장면(실내 및 실외)에서의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전 방법들보다 더 나은 순서 일관성을 가지는 픽셀 단위 깊이를 생성한다.
• NYU Depth에서 본 방법은 Zoran et al. (ordinal relations)을 능가하고, 전체 메트릭 데이터로 훈련된 Eigen의 깊이 추정을 근접하게 달성한다.
• Depth in the Wild에서 NYU Depth로 사전 학습하고 DIW에서 미세 조정하면 가장 높은 WHDR 점수를 제공하여 실외 및 실내 장면에서 강한 이득을 보여준다.
• 기존 RGB-D 데이터와 DIW 주석을 결합하면 야생에서의 단일 이미지 깊이 인식이 크게 향상된다.
• 임의의 점 쌍으로 학습하면 이미지당 충분한 쌍이 사용될 때 초스페픽셀 대신 성능이 더 좋거나 비슷해질 수 있다.