[논문 리뷰] Self-Supervised 3D Keypoint Learning for Ego-motion Estimation

Jiexiong Tang, Rareş Ambruş외 5명|arXiv (Cornell University)|2019. 12. 07.

Robotics and Sensor-Based Localization참고 문헌 67인용 수 9

한 줄 요약

이 논문은 레이블이 없는 단안 영상에서 직접 깊이 인식 3D 키포인트를 학습하기 위한 자기지도 학습 프레임워크를 제안한다. 서로 다른 구조에서 운동을 추정하는 모듈을 사용하여 키포인트 검출, 기술자, 3D 리프팅을 동시에 최적화하며, Procrustean 잔차 자세 보정 방식을 활용한다. 이 방법은 최신의 단안 시각적 오도메트리 성능을 달성하여, 스케일 드리프트가 최소화된 KITTI 벤치마크에서 스테레오 기반 방법을 능가한다.

ABSTRACT

Detecting and matching robust viewpoint-invariant keypoints is critical for visual SLAM and Structure-from-Motion. State-of-the-art learning-based methods generate training samples via homography adaptation to create 2D synthetic views with known keypoint matches from a single image. This approach, however, does not generalize to non-planar 3D scenes with illumination variations commonly seen in real-world videos. In this work, we propose self-supervised learning of depth-aware keypoints directly from unlabeled videos. We jointly learn keypoint and depth estimation networks by combining appearance and geometric matching via a differentiable structure-from-motion module based on Procrustean residual pose correction. We describe how our self-supervised keypoints can be integrated into state-of-the-art visual odometry frameworks for robust and accurate ego-motion estimation of autonomous vehicles in real-world conditions.

연구 동기 및 목표

• 높은 비용이 드는 진짜 레이블을 사용하지 않고도, 시점에 관계없이 강력한 3D 키포인트를 학습하는 데 도전한다.
• 기존 자기지도 학습 키포인트 학습 방법의 한계를 극복한다. 이러한 방법들은 평면 호모지어피 가정에 의존하며, 조명 변화가 있는 비평면 3D 환경에서는 실패한다.
• 단안 영상 시퀀스의 시간적 및 기하학적 일관성을 활용하여, 키포인트 검출, 기술자 학습, 3D 리프팅을 종합적으로 최적화하는 엔드 투 엔드 자기지도 학습 방식을 개발한다.
• 최신의 시각적 오도메트리 파이프라인인 DSO에 학습된 3D 키포인트를 통합하여 정확하고 스케일 인식이 가능한 장거리 자율 주행 운동 추정을 가능하게 한다.
• KITTI 오도메트리 시퀀스와 HPatches 데이터셋을 통해 광범위한 평가를 수행하여, 실제 자율 주행 차량 환경으로의 일반화 능력을 입증한다.

제안 방법

• 다중 시점 기하 일관성을 통해 자기지도 학습의 감독 신호를 생성하기 위해 시간적 영상 시퀀스를 활용하며, 합성 호모지어피에 의존하지 않는다.
• Procrustean 잔차 자세 보정 기반의 미분 가능 구조에서 운동 모듈을 사용하여, SE3 카메라 자세를 추정하는 데 목적이 있는 키포인트 검출 네트워크와 깊이 추정 네트워크를 함께 훈련한다.
• 예측된 3D 키포인트를 2D 투영에 맞추기 위한 미분 가능한 자세 정렬 단계를 통해 기하 일관성을 강제로 유지한다.
• 외관 일치(기본 특성 유사도를 통한)와 기하 제약(3D-2D 재투영 오차를 통한)을 조합한 손실 함수를 사용하여 엔드 투 엔드 시스템을 훈련한다.
• 정확한 단안 자율 주행 운동 추정을 위해, 학습된 3D 키포인트 검출기와 기술자를 직접 희소 오도메트리(DSO) 프레임워크에 통합한다.
• KITTI 벤치마크에서 공정한 비교를 위해 평가 시에 단일 Sim(3) 정렬 단계를 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 단안 영상에서 자기지도 학습을 통해 3D 키포인트를 학습하면, 조명 변화와 시점 변화가 있는 실제 환경 조건에서도 강력하고 반복 가능한 키포인트 검출 및 매칭이 가능한가?
• RQ2 키포인트 검출, 기술자 학습, 깊이 추정을 동시에 최적화하는 것이 분리된 학습 또는 감독 학습 방법보다 단안 시각적 오도메트리 성능을 향상시키는가?
• RQ3 Procrustean 잔차 자세 보정 기반의 미분 가능 구조에서 운동 모듈이 기하 일관성을 효과적으로 강제하고 자세 추정 정확도를 향상시키는가?
• RQ4 장거리 단안 시각적 오도메트리에서 제안된 자기지도 학습 3D 키포인트 시스템은 스테레오 기반 최신 기술보다 성능이 뛰어나게 되는가?
• RQ5 학습된 3D 키포인트는 KITTI 오도메트리 벤치마크 평가를 통해 실제 자율 주행 차량 환경으로 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 KITTI 오도메트리 시퀀스 09와 10에서 평균 이동 RMSE가 4.30%를 기록하여, 단안 감독 하에서 SfMLearner(16.6%)와 Zhan et al.(12.3%)를 능가한다.
• 동일한 시퀀스에서 자세 오차 RMSE는 0.90°/100m로, SfMLearner(3.26°/100m)와 Zhan et al.(3.52°/100m)보다 유의미하게 낮다.
• DSO에 통합된 결과, KITTI 시퀀스에서 평균 이동 RMSE가 0.26%를 기록하여, 최소한의 스케일 드리프트와 높은 정확도를 확보한 장거리 추적 성능을 입증한다.
• HPatches 데이터셋에서 높은 재현성과 정위치 오차를 기록하였으며, 호모지어피 정확도 및 매칭 점수 지표가 최신 기반 학습 키포인트 검출기 수준과 유사하다.
• 정성적 결과는 KITTI 03, 04, 05, 07 등의 도전적인 시퀀스에서 안정적인 3D 키포인트를 정확하게 추적하며, 궤적은 진짜 값과 매우 가까이 따라가며 최소한의 드리프트를 보인다.
• 절단 실험 결과, 기하학적 감독을 통한 키포인트 및 깊이 네트워크의 종합 최적화가 분리된 학습 또는 기하학적 정규화가 없는 학습보다 성능 향상에 기여한다는 점을 확인한다.