[논문 리뷰] RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes

Mertalp Ocal, Armin Mustafa|arXiv (Cornell University)|2020. 04. 14.

Advanced Vision and Imaging참고 문헌 63인용 수 11

한 줄 요약

RealMonoDepth는 상대적 깊이 스케일링과 워핑을 기반으로 한 새로운 손실 함수를 도입하여 다양한 실내 및 실외 환경(1–100m 이상의 깊이 범위)에서 일반화 가능한 자기지도 학습 단안 깊이 추정 방법을 제안한다. 이 방법은 고정된 기준거리가 없는 혼합 스테레오 및 움직이는 카메라 데이터셋에서 학습이 가능하게 하여, 5개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 예측된 깊이 범위가 새로운 범위에 포함된 경우에도 성능을 유지한다.

ABSTRACT

We present a generalised self-supervised learning approach for monocular estimation of the real depth across scenes with diverse depth ranges from 1--100s of meters. Existing supervised methods for monocular depth estimation require accurate depth measurements for training. This limitation has led to the introduction of self-supervised methods that are trained on stereo image pairs with a fixed camera baseline to estimate disparity which is transformed to depth given known calibration. Self-supervised approaches have demonstrated impressive results but do not generalise to scenes with different depth ranges or camera baselines. In this paper, we introduce RealMonoDepth a self-supervised monocular depth estimation approach which learns to estimate the real scene depth for a diverse range of indoor and outdoor scenes. A novel loss function with respect to the true scene depth based on relative depth scaling and warping is proposed. This allows self-supervised training of a single network with multiple data sets for scenes with diverse depth ranges from both stereo pair and in the wild moving camera data sets. A comprehensive performance evaluation across five benchmark data sets demonstrates that RealMonoDepth provides a single trained network which generalises depth estimation across indoor and outdoor scenes, consistently outperforming previous self-supervised approaches.

연구 동기 및 목표

• 기존 자기지도 학습 단안 깊이 추정 방법이 고정된 깊이 범위와 카메라 기준거리에 제한되는 문제를 해결하기 위해.
• 실내 및 실외 환경에서 매우 다른 깊이 척도(1–100m 이상)를 갖는 환경으로의 깊이 추정 일반화를 가능하게 하기 위해.
• 정확한 지표 깊이 예측을 유지하면서도 지표 깊이가 없는 상태에서 스테레오 쌍과 자연스러운 움직이는 카메라 시퀀스를 결합한 자기지도 학습 프레임워크를 개발하기 위해.
• 고정된 카메라 기준거리에 의존하지 않으면서도 정확한 지표 깊이 예측을 유지하기 위해.

제안 방법

• 상대적 깊이 감독과 스케일링 및 워핑 연산을 통한 실수 깊이 추정을 조합한 새로운 손실 함수를 도입한다.
• 장면에 맞는 중앙값 깊이 스케일링을 사용하여 상대적 깊이 맵으로부터 실수 깊이를 추정하는 스케일 변환 모듈을 활용한다.
• 이미지 재구성 결과를 감독 신호로 사용: 예측된 깊이를 활용해 원본 시점에서 목표 시점을 재구성한다.
• 지표 깊이가 없는 상태에서 스테레오 데이터셋(KITTI 등)과 자연스러운 움직이는 카메라 데이터셋(Mannequin Challenge 등)의 조합을 사용해 단일 딥 네트워크를 학습한다.
• 학습 중에 원본 시점과 목표 시점 간의 기하학적 일관성을 강제하기 위해 워핑 및 광학 일관성 손실을 적용한다.
• 정규화된 깊이를 예측하는 상대적 깊이 네트워크를 사용하며, 이를 장면에 맞는 중앙값 깊이 추정치를 통해 실수 깊이로 스케일링한다.

실험 결과

연구 질문

• RQ1 고정된 카메라 기준거리가 없는 상태에서, 실내와 실외 환경 간에 매우 다른 깊이 범위를 갖는 환경으로 자기지도 학습 단안 깊이 추정이 일반화될 수 있는가?
• RQ2 일관되지 않은, 자연스러운 움직이는 비디오 시퀀스와 스테레오 쌍에서 실수 지표 깊이를 추정할 수 있는 단일 네트워크를 어떻게 학습시킬 수 있는가?
• RQ3 어떤 손실 함수 설계가 다양한 환경에서 실수 깊이 척도를 유지하면서 효과적인 자기지도 학습을 가능하게 하는가?
• RQ4 스테레오 데이터와 움직이는 카메라 데이터를 결합함으로써, 새로운 깊이 범위에서의 일반화 및 성능 향상 수준은 어느 정도인가?

주요 결과

• RealMonoDepth는 KITTI, NYU, TUM, Make3D, Mannequin Challenge를 포함한 5개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 자기지도 학습 방법보다 일관된 향상을 보였다.
• MC+KITTI 데이터를 결합하여 학습한 모델이 개별 데이터셋에서 학습한 모델보다 우수한 성능을 보이며, 깊이 범위에 걸쳐 보다 우수한 일반화 능력을 입증했다.
• KITTI 테스트 세트에서 절대 상대 오차(Abs Rel)는 0.388, 평균 제곱근 오차(RMS)는 1.533를 기록하여 Monodepth2(가장 높은 절대 상대 오차: 0.427, RMS: 1.616)를 능가했다.
• 제거 실험 결과, 제안된 스케일 변환(ST)이 NYU 및 TUM와 같이 깊이가 변동성이 큰 데이터셋에서 성능 향상이 뚜렷하게 나타나며, KITTI에서는 성능 유지가 가능함을 확인했다.
• 지표 깊이가 없는 정적 환경에서만 학습된 모델이 테스트 시 동적 환경에도 일반화 가능하며, 이는 훈련 데이터가 정적 환경에 국한되어 있음에도 불구하고 성능을 유지함을 의미한다.
• 정성적 결과를 통해 장거리 외부 환경(약 ~500m)과 근접 거리 실내 환경(약 10m) 모두에서 정확한 깊이 추정이 가능함을 확인했다.