[논문 리뷰] Size-to-depth: A New Perspective for Single Image Depth Estimation

Yiran Wu, Sihao Ying외 1명|arXiv (Cornell University)|2018. 01. 13.

Advanced Vision and Imaging참고 문헌 10인용 수 15

한 줄 요약

이 논문은 단일 이미지 단안 깊이 추정을 위한 새로운 크기-깊이 접근법을 제안한다. 인간이 라벨링한 물체 크기를 활용하여 기하학적 관계를 통해 상대적 깊이를 추론한 후, CRF 기반의 정밀화를 통해 정확한 깊이 맵을 생성한다. 기존의 깊이 라벨링 기법에 비해 성능이 뛰어나며, NYU Depth 데이터셋에서 라벨링의 상대 오차가 21% 낮아졌다.

ABSTRACT

In this paper we consider the problem of single monocular image depth estimation. It is a challenging problem due to its ill-posedness nature and has found wide application in industry. Previous efforts belongs roughly to two families: learning-based method and interactive method. Learning-based method, in which deep convolutional neural network (CNN) is widely used, can achieve good result. But they suffer low generalization ability and typically perform poorly for unfamiliar scenes. Besides, data-hungry nature for such method makes data aquisition expensive and time-consuming. Interactive method requires human annotation of depth which, however, is errorneous and of large variance. To overcome these problems, we propose a new perspective for single monocular image depth estimation problem: size to depth. Our method require sparse label for real-world size of object rather than raw depth. A Coarse depth map is then inferred following geometric relationships according to size labels. Then we refine the depth map by doing energy function optimization on conditional random field(CRF). We experimentally demonstrate that our method outperforms traditional depth-labeling methods and can produce satisfactory depth maps.

연구 동기 및 목표

• 원시 깊이가 아닌 물체 크기를 기반으로 한 새로운 시각을 도입하여 단일 이미지 깊이 추정의 부족한 성질을 해결하고자 한다.
• 학습 기반 방법의 일반화 능력 부족과 데이터 수요 과다 문제, 그리고 상호작용 기반 방법의 인간이 절대 깊이를 추정하기 어려운 점으로 인한 오류와 비효율성을 해결하고자 한다.
• 사람의 크기 추정 능력을 활용하여 직접 깊이 라벨링에서 크기 라벨링으로의 전환을 통해 라벨링 정확도와 효율성을 향상시키고자 한다.
• 물체 경계에서 깊이 불연속성을 유지하면서 국소적 연속성을 유지하는 강력한 깊이 전파 프레임워크를 개발하고자 한다.
• 크기 기반 라벨링이 기존의 깊이 라벨링 기법에 비해 더 뛰어난 깊이 맵 품질을 제공함을 입증하고자 한다.

제안 방법

• 본 방법은 물체의 희소한 인간 라벨링된 실제 크기를 입력으로 사용하며, 기하학적 관계 depth ∝ (focal length × real-world size) / (size in image) 를 활용해 상대적 깊이를 추론한다.
• 물체 크기 라벨에서 유도된 비례 관계를 기반으로 깊이 값을 할당하여 굵은 깊이 맵을 생성한다.
• 자체 설계한 조건부 랜덤 필드(CRF) 모델을 사용하여 굵은 깊이 맵을 정밀화하며, 단항 항은 크기 라벨에 기반하고 이원항은 이미지 강도 유사도에 기반한 부드러움을 강제한다.
• CRF 에너지 함수는 E(x,y) = Σ_p E_unary(y_p,x) + λ Σ_(b,c)∈A (1/2) E_binary(y_b,y_c,x) 로 정의되며, E_binary 는 유사도 가중치 sim(b,c) = exp(−β|I_b − I_c|) 를 포함하여 유사한 영역에서 깊이 일관성을 선호한다.
• 지역 이미지 유사도에 기반한 가중치를 적용하여 물체 경계에서 깊이 불연속성을 유지하면서 깊이 전파를 최적화한다.
• 하이퍼파라미터 λ 와 β 는 라벨 충실도와 부드러움 사이의 트레이드오프를 조절하며, β 는 RGB 강도 차이에 기반한 깊이 차이에 대한 페널티를 조절한다.

실험 결과

연구 질문

• RQ1 물체 크기 라벨링은 직접 깊이 라벨링에 비해 더 정확하고 효율적인 대안이 될 수 있는가?
• RQ2 물체 크기, 이미지 크기, 깊이 사이의 기하학적 관계는 실제 환경에서 신뢰할 수 있는 깊이 추론을 가능하게 하는가?
• RQ3 CRF 기반 정밀화 모델은 희소한 크기 라벨에서 깊이를 효과적으로 전파하면서도 물체 경계의 깊이 불연속성을 유지할 수 있는가?
• RQ4 크기 기반 라벨링의 성능은 기존의 깊이 라벨링 기법에 비해 정량적 지표에서 어떻게 비교되는가?
• RQ5 하이퍼파라미터 λ 와 β 는 최종 깊이 맵의 품질과 부드러움에 얼마나 영향을 미치는가?

주요 결과

• 물체 크기 라벨링은 직접 깊이 라벨링에서 관찰된 21% 상대 오차에 비해 8% 상대 오차를 기록하여 훨씬 더 높은 정확도와 효율성을 입증한다.
• 제안된 크기-깊이 방법은 NYU Depth 데이터셋에서 평균 제곱오차 0.016을 달성하여 기존 수작업 기반 깊이 방법(0.048)을 능가한다.
• 이 방법은 기준선 대비 0.976의余弦 유사도를 기록하여 지표 깊이 벡터와의 정렬이 더 우수함을 나타낸다.
• 쌍별 순위 정확도는 0.858에 도달하여 기준선의 0.818을 초월하여 상대적 깊이 순서가 향상됨을 보여준다.
• 이 방법은 물체 경계에서 깊이 불연속성을 유지하면서도 균일한 영역에서는 부드러움을 유지하는 시각적으로 타당한 깊이 맵을 생성한다.
• 민감도 분석 결과, λ 와 β 는 부드러움과 라벨 충실도에 크게 영향을 미치며, 최적의 값은 정확도와 연속성을 균형 잡는 데 기여한다.