[논문 리뷰] Camera Height Doesn't Change: Unsupervised Training for Metric Monocular Road-Scene Depth Estimation

Genki Kinoshita, Ko Nishino|arXiv (Cornell University)|2023. 12. 07.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 촬영된 영상에서 차량 치수를 추론하고 이러한 정보를 통합하여 유일한 불변 측정값인 카메라 높이로 변환함으로써, 보조 센서나 스케일 감독 없이도 메트릭 영상 깊이 추정을 가능하게 하는 새로운 비지도 단안 깊이 추정 프레임워크 StableCamH를 제안한다. 이 방법은 모든 프레임과 에포크 동안 카메라 높이를 최적화하여 KITTI와 Cityscapes에서 최신 기준 성능을 달성하며, 일관되고 스케일 인식 가능한 깊이 예측을 보장한다.

ABSTRACT

In this paper, we introduce a novel training method for making any monocular depth network learn absolute scale and estimate metric road-scene depth just from regular training data, i.e., driving videos. We refer to this training framework as FUMET. The key idea is to leverage cars found on the road as sources of scale supervision and to incorporate them in network training robustly. FUMET detects and estimates the sizes of cars in a frame and aggregates scale information extracted from them into an estimate of the camera height whose consistency across the entire video sequence is enforced as scale supervision. This realizes robust unsupervised training of any, otherwise scale-oblivious, monocular depth network so that they become not only scale-aware but also metric-accurate without the need for auxiliary sensors and extra supervision. Extensive experiments on the KITTI and the Cityscapes datasets show the effectiveness of FUMET, which achieves state-of-the-art accuracy. We also show that FUMET enables training on mixed datasets of different camera heights, which leads to larger-scale training and better generalization. Metric depth reconstruction is essential in any road-scene visual modeling, and FUMET democratizes its deployment by establishing the means to convert any model into a metric depth estimator.

연구 동기 및 목표

• 도로 환경에서 객체 치수에 대한 사전 지식을 활용하여 비지도 단안 깊이 추정의 스케일 모호성을 해결한다.
• 실세계 주행 환경에서의 정확도 낮은 국소화 및 도메인 이동으로 인해 발생하는 직접적 객체 치수 사전의 취약성을 극복한다.
• GPS, 자이로스코프, 깊이 센서가 필요 없이도 어떤 단안 깊이 추정기라도 스케일 인식 가능하도록 하는 자기지도 학습 프레임워크를 개발한다.
• 모든 프레임과 학습 에포크 동안 카메라 높이의 불변성을 강제하여 영상 시퀀스 전반에 걸쳐 일관된 깊이 추정을 가능하게 한다.
• 수동 레이블링 없이도 외부 데이터셋에 일반화 가능하고, 외관만으로 차량 치수를 추정할 수 있는 일반화된 사전 학습된 치수 사전을 구축한다.

제안 방법

• 영상 시퀀스의 모든 프레임에서 공통된 불변 물리적 측정값으로서 카메라 높이를 최적화하는 방식으로 단안 깊이 추정 문제를 재정의한다.
• 예측된 깊이 맵에서 비스케일링된 카메라 높이 추정치를 유도하는 미분 가능한 카메라 높이 계산 모듈을 도입한다.
• 웹에서 수집한 자동차 이미지와 함께 레이블이 부여된 치수를 기반으로 훈련된 새로운 학습된 치수 사전 네트워크를 도입하여 객체 외관에서 직접 차량 치수(길이, 너비, 높이)를 예측한다.
• 심상 프로젝터를 적용하여 깊이 맵에서 객체 실루엣 높이를 추출하고, 이를 학습된 치수 사전의 예측 결과와 비교하여 프레임 단위 스케일 요소를 계산한다.
• 비스케일링된 카메라 높이에 스케일 요소를 적용하여 프레임 단위로 스케일 조정된 카메라 높이 추정치를 계산함으로써 메트릭 감독을 가능하게 한다.
• 모든 프레임과 학습 에포크 동안 중앙값 연산과 가중 이동 평균을 사용하여 카메라 높이를 최적화함으로써 불변성과 학습 안정성을 강제한다.

실험 결과

연구 질문

• RQ1 영상 시퀀스 전반에 걸쳐 카메라 높이의 불변성을 활용하여 단안 깊이 추정의 스케일 모호성을 해결할 수 있는가?
• RQ2 실세계 주행 환경에서의 국소화 오차와 도메인 이동에 강건한 객체 치수 사전은 어떻게 설계할 수 있는가?
• RQ3 웹 스크래핑된 데이터에서 학습된 기계학습 기반 치수 사전이 수동 레이블 없이도 외관만으로 차량 치수를 정확히 예측할 수 있는가?
• RQ4 학습 중에 온라인으로 카메라 높이를 최적화하는 것이 고정된 가짜 감독 대비 깊이 추정 정확도를 향상시키는가?
• RQ5 제안된 프레임워크는 KITTI 및 Cityscapes와 같은 다양한 데이터셋에서 어떤 단안 깊이 추정 모델과도 일반화 가능한가?

주요 결과

• StableCamH는 KITTI 및 Cityscapes 벤치마크에서 기존의 약한 감독 기반 방법들을 능가하는 최신 기준의 절대 스케일 깊이 추정 성능을 달성한다.
• 온라인 카메라 높이 최적화를 통해 훈련된 모델은 고정된 가짜 감독 대비 더 높은 정확도를 보이며, 종단 간 불변성 학습의 효과를 입증한다.
• 세부 조정된 카메라 높이 전략은 성능을 추가로 향상시키며, 추가적인 사전 훈련이 정확도 향상에 기여함을 보여준다.
• 학습된 치수 사전는 다양한 데이터셋 간에 강력하게 일반화되며, 고정 사전 및 유사한 3D 검출 모델(MonoCInIS)보다 낮은 절대 상대 오차를 기록한다.
• KITTI에서 학습된 치수 사전는 고정 사전(1.59m)과 MonoCInIS보다 낮은 오차를 기록하며, 특히 미리 보지 않은 도메인에서 뛰어난 성능을 보인다.
• 이 방법은 깊이 또는 스케일 감독 없이도 완전히 비지도 학습을 가능하게 하여, 임의의 실세계 주행 영상에 적용 가능한 가능성을 제공한다.