[논문 리뷰] Multimodal Scale Consistency and Awareness for Monocular Self-Supervised Depth Estimation

Hemang Chawla, Arnav Varma외 2명|arXiv (Cornell University)|2021. 03. 03.

Advanced Vision and Imaging참고 문헌 52인용 수 24

한 줄 요약

이 논문은 단일 레이저 영상에서 자기지도 기반 깊이 추정을 위한 GPS-to-Scale (g2s) 손실을 제안하며, 훈련 중에 저주파수의 평면형 GPS 데이터를 활용하여 척도 일관성과 척도 인식 능력을 강화함으로써 추론 시 GPS가 필요 없도록 한다. 이 방법은 희박하거나 고도 정보가 없는 GPS 환경에서도 깊이 추정 정확도와 선명도를 향상시키며, KITTI에서 최신 기술을 초월하고 Make3D 및 Cityscapes와 같은 분포 외 데이터셋으로의 일반화 능력도 뛰어나다.

ABSTRACT

Dense depth estimation is essential to scene-understanding for autonomous driving. However, recent self-supervised approaches on monocular videos suffer from scale-inconsistency across long sequences. Utilizing data from the ubiquitously copresent global positioning systems (GPS), we tackle this challenge by proposing a dynamically-weighted GPS-to-Scale (g2s) loss to complement the appearance-based losses. We emphasize that the GPS is needed only during the multimodal training, and not at inference. The relative distance between frames captured through the GPS provides a scale signal that is independent of the camera setup and scene distribution, resulting in richer learned feature representations. Through extensive evaluation on multiple datasets, we demonstrate scale-consistent and -aware depth estimation during inference, improving the performance even when training with low-frequency GPS data.

연구 동기 및 목표

• 자율주행 응용 분야에서의 핵심 제약 요소인 단일 레이저 영상 자기지도 기반 깊이 추정의 척도 일관성 문제를 해결한다.
• 단일 레이저 영상에서 내재된 척도 모호성 문제를 GPS 데이터로부터 유도된 다중 모odal 학습 신호를 도입하여 해결한다.
• 추론 시 LiDDR나 스테레오 감독 없이도 메트릭 척도의 깊이 예측을 가능하게 한다.
• 저주파수 및 2차원 GPS(고도 없음)에 대해 강건성을 확보하여 실용적 구현 가능성을 높인다.
• 장면 및 카메라에 관계없이 일반화 가능한 깊이 표현을 학습함으로써 분포 외 데이터셋으로의 일반화 능력을 향상시킨다.

제안 방법

• 자기 운동 네트워크에서 예측한 상대 이동량과 GPS로 측정한 상대 이동량을 비교하는 동적 가중치를 적용한 GPS-to-Scale (g2s) 손실을 제안한다.
• 투영 기반 모델을 활용해 깊이 및 자기 운동 예측 간 기하학적 일관성을 확보한다.
• g2s 손실은 훈련 중에만 적용되며, GPS 데이터는 척도 일관성과 인식을 강화하기 위한 척도 신호로만 사용된다.
• 훈련 에포크 수에 따라 지수적으로 증가하는 가중치 스케줄링을 적용하여 수렴성과 성능을 향상시킨다.
• 시각적 외관 기반의 사진적 손실, 스무스니스 손실, 자동 마스킹 손실과 g2s 손실을 자기지도 기반 프레임워크에 통합한다.
• 시각적 외관 신호와 GPS 기반 척도 신호를 조합한 다중 모달 손실을 사용해 깊이 및 자기 운동 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 GPS 기반 상대 이동량이 단일 레이저 영상 자기지도 기반 깊이 추정에 신뢰할 수 있는 척도 신호로 기능할 수 있는가?
• RQ2 GPS 주파수와 고도 정보의 유무에 따라 g2s 손실의 성능는 어떻게 변하는가?
• RQ3 g2s 손실이 다양한 장면과 데이터셋에서 척도 일관성과 인식 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법은 미세조정 없이 Make3D 및 Cityscapes와 같은 분포 외 데이터셋으로 일반화 가능한가?
• RQ5 다중 모달 자기지도 기반 프레임워크는 외관 전용 기준 모델에 비해 더 풍부하고 이식 가능한 특징 표현을 도출하는가?

주요 결과

• 제안된 g2s 손실은 척도 일관성을 크게 향상시켜, 기준 방법 대비 Make3D에서 깊이 척도 요인의 표준편차를 17.24에서 0.85로, Cityscapes에서는 22.44에서 1.22로 감소시켰다.
• Make3D에서 평균 깊이 척도 요인은 2.81, Cityscapes에서는 4.01로, 1에 매우 가까운 값으로 강력한 척도 인식 능력을 보이며 경쟁 방법보다 훨씬 우수한 성능를 나타낸다.
• 저주파수 GPS(최저 1 Hz)이거나 고도 정보가 없더라도, KITTI Eigen 분할에서 최신 기술을 초월하는 성능을 기록했으며, Abs Rel 오차는 0.112, δ < 1.253 정확도는 0.981을 달성했다.
• M+G 훈련 설정에서 KITTI 깊이 벤치마크에서 Monodepth2 및 기타 최신 기술 대비 우수한 성능을 보였으며, SILog 오차는 14.16, SqRel 오차는 3.65를 기록했다.
• 정성적 결과에서는 Make3D 및 Cityscapes 양측에서 건물 구조, 나무 줄기, 차량 세부 정보 등 더 정교한 물체 윤곽이 확보되어 특징 학습 향상이 확인되었다.
• 제거 분석 결과, 지수적 가중치를 적용한 g2s 손실(Eq. 5)이 가장 우수한 성능를 보였으며, Abs Rel 오차는 0.112, δ < 1.253 정확도는 0.981로, 일정 및 선형 가중치 전략을 모두 능가했다.