[논문 리뷰] CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters

Sai Shyam Chanduri, Zeeshan Khan Suri외 2명|arXiv (Cornell University)|2021. 10. 27.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 캘리브레이션되지 않은 영상 시퀀스에서 카메라 내재 매개변수를 암묵적으로 학습함으로써 단안 영상 깊이 추정을 수행하는 self-supervised 방법인 CamLessMonoDepth를 제안한다. 고해상도 깊이 맵과 픽셀 단위의 불확실성 추정을 위해 효율적인 서브픽셀 컨볼루션을 사용하며, 지도 학습이 필요 없는 KITTI 벤치마크에서 최고 성능을 기록한다. 이는 다양한 인터넷 영상에서의 학습을 가능하게 한다.

ABSTRACT

Perceiving 3D information is of paramount importance in many applications of computer vision. Recent advances in monocular depth estimation have shown that gaining such knowledge from a single camera input is possible by training deep neural networks to predict inverse depth and pose, without the necessity of ground truth data. The majority of such approaches, however, require camera parameters to be fed explicitly during training. As a result, image sequences from wild cannot be used during training. While there exist methods which also predict camera intrinsics, their performance is not on par with novel methods taking camera parameters as input. In this work, we propose a method for implicit estimation of pinhole camera intrinsics along with depth and pose, by learning from monocular image sequences alone. In addition, by utilizing efficient sub-pixel convolutions, we show that high fidelity depth estimates can be obtained. We also embed pixel-wise uncertainty estimation into the framework, to emphasize the possible applicability of this work in practical domain. Finally, we demonstrate the possibility of accurate prediction of depth information without prior knowledge of camera intrinsics, while outperforming the existing state-of-the-art approaches on KITTI benchmark.

연구 동기 및 목표

• 기존 self-supervised 방법의 핵심 한계 중 하나인 사전 校정된 카메라 매개변수의 필요성을 제거함으로써 단안 영상 깊이 추정을 가능하게 하기.
• 지상 진실 카메라 캘리브레이션 데이터가 필요 없이 단안 영상 시퀀스로부터 카메라 내재 매개변수를 암묵적으로 학습하기.
• 디코더에서 효율적인 서브픽셀 컨볼루션 기반 업샘플링을 통해 깊이 맵 품질 향상하기.
• 자율주행과 같은 실세계 응용 분야에서의 강인성을 높이기 위해 픽셀 단위의 불확실성 추정 통합하기.
• 다양하고 캘리브레이션되지 않은 데이터, 특히 다양한 카메라 설정과 조건을 가진 인터넷 영상에 대한 일반화 능력 입증하기.

제안 방법

• 단안 영상 시퀀스 기반 self-supervised 학습 프레임워크를 사용하여, 깊이, 자세, 카메라 내재 매개변수를 동시에 예측하는 딥 네트워크를 훈련한다.
• 최소 재투영 오차 손실과 오토 마스킹을 적용하여 가림현상과 정적 픽셀을 처리함으로써 다이나믹 환경에서의 강인성 향상.
• 깊이 디코더에서 효율적 서브픽셀 컨볼루션 네트워크(ESPCN)를 사용하여 특징 맵을 업샘플링함으로써 더 선명하고 고해상도의 깊이 예측 생성.
• 이종 분산 이종적 불확실성 추정(aleatoric uncertainty estimation)을 도입하여 각 픽셀의 신뢰도를 예측함으로써 의사결정 작업의 신뢰성 향상.
• 카메라 내재 매개변수를 네트워크의 일부로 종료형(end-to-end)으로 예측함으로써 명시적인 캘리브레이션 매개변수 입력 필요 없음.
• 훈련 파이프라인은 KITTI 2015 데이터와 57개의 도로 영상에서 유래한 총 7,623장의 인터넷 영상 데이터를 결합하여 강력한 일반화 능력 확보.

실험 결과

연구 질문

• RQ1 지상 진실 카메라 내재 매개변수 없이도 단안 영상 깊이 추정을 정확하게 수행할 수 있는가?
• RQ2 self-supervised 학습을 통해 카메라 매개변수를 암묵적으로 학습하면, 실제 세계의 캘리브레이션되지 않은 데이터에 대해 일반화 성능이 향상되는가?
• RQ3 기존의 표준 보간법과 비교해 효율적인 서브픽셀 컨볼루션은 깊이 맵의 해상도와 선명도를 크게 향상시킬 수 있는가?
• RQ4 픽셀 단위의 불확실성 추정은 실세계 배포 환경에서 모델의 신뢰성 향상에 기여하는가?
• RQ5 지상 진실 지도 학습이나 온라인 보정 없이도 KITTI에서 최고 성능을 달성할 수 있는가?

주요 결과

• 지상 진실 카메라 내재 매개변수 없이도 self-supervised 단안 영상 깊이 추정에서 KITTI 벤치마크에서 최고 성능 기록.
• 디코더에서 ESPCN를 사용함으로써 고해상도에서 특히 선명한 깊이 맵을 생성하며, 표준 보간법 대비 뛰어난 성능 확보.
• 예측된 데이터에 대해 잘 일반화되며, 다양한 카메라 높이, 해상도, 날씨 조건을 가진 인터넷 영상에서도 우수한 성능 유지.
• 정성적 결과 분석에서 기준 모델인 MonoDepth2 대비 경계 및 얇은 물체 재구성에서 뛰어난 성능 확보.
• 불확실성 추정 도입이 깊이 정확도에 큰 영향을 주진 않지만, 후속 작업에서 유용한 신뢰도 정보 제공.
• 입력 해상도 1024×320에서 최고 성능 달성하며, 온라인 보정이나 지상 진실 데이터를 사용하지 않는 다른 SOTA self-supervised 방법들을 초월함.