[논문 리뷰] Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

Tianwei Shen, Zixin Luo외 5명|arXiv (Cornell University)|2019. 02. 25.

Advanced Vision and Imaging참고 문헌 51인용 수 6

한 줄 요약

이 논문은 단일 카메라 영상에서 자율학습된 자동차 운동 추정을 위한 프레임워크를 제안하며, 광학적 손실에 기하학적 제약 조건을 통합함으로써 성능을 향상시킨다. 쌍별 특징 매칭과 시점 간 기하학적 관계를 활용하여 광학적 손실을 개선하였으며, 기하학적 일致성에서 유도된 매칭 손실을 도입함으로써 KITTI 데이터셋에서 최신 기준 성능을 달성하였다. 이는 루프 클로징 없이도 기존의 비지도 학습 방법과 비교해도 뛰어나며, 시퀀스 09에서 단일 카메라 ORB-SLAM2보다도 우수한 성능을 보였다.

ABSTRACT

Accurate relative pose is one of the key components in visual odometry (VO) and simultaneous localization and mapping (SLAM). Recently, the self-supervised learning framework that jointly optimizes the relative pose and target image depth has attracted the attention of the community. Previous works rely on the photometric error generated from depths and poses between adjacent frames, which contains large systematic error under realistic scenes due to reflective surfaces and occlusions. In this paper, we bridge the gap between geometric loss and photometric loss by introducing the matching loss constrained by epipolar geometry in a self-supervised framework. Evaluated on the KITTI dataset, our method outperforms the state-of-the-art unsupervised ego-motion estimation methods by a large margin. The code and data are available at https://github.com/hlzz/DeepMatchVO.

연구 동기 및 목표

• 광학적 손실의 한계를 해결함: 반사 표면, 가림, 비람베르티안 표면 등으로 인해 누적 오차가 발생하는 문제를 해결하기 위함.
• 특징 매칭과 시점 간 기하학적 관계에서 암묵적인 기하학적 감독을 통합함으로써 깊이 및 자세 추정의 정확성과 강건성을 향상시키기 위함.
• 픽셀 수준의 광학적 오차보다 중간 단계의 기하학적 표현(예: 쌍별 매칭)이 광학적 잡음에 더 강건함을 입증하기 위함.
• 루프 클로징이나 복잡한 보조 감독 없이도 최신 비지도 학습 방법보다 뛰어난 시각 오도메트리 성능을 달성하기 위함.
• 간단하고 확장 가능한 아키텍처를 사용해 종단 간 학습을 가능하게 하여 실제 시퀀스에서 복잡한 기준 모델을 능가하는 성능을 달성하기 위함.

제안 방법

• 예측된 특징 매칭과 시점 간 기하학적 제약 조건 간 일관성을 강제하는 기하학적 매칭 손실을 도입함.
• 이웃 프레임에서 특징을 추출하기 위해 시아미즈 컨volutional 네트워크를 사용하고, 이들 간의 쌍별 매칭을 계산함.
• 예측된 상대 자세에서 유도된 기본 행렬을 활용해 매칭된 점들이 대응되는 시점 선상에 위치하도록 기하학적 제약 조건을 적용함.
• 기하학적 매칭 손실을 표준 광학적 재구성 손실과 다중 작업 학습 프레임워크에서 병합함.
• 광학적 손실의 이상치 영향을 줄이기 위해 백분위수 기반 마스크를 적용하여 학습 안정성을 향상시킴.
• 예측된 상대 자세를 연결하고 운동 평균화를 적용하여 평가를 위한 전체 궤적을 복원함.

실험 결과

연구 질문

• RQ1 특징 매칭에서 유도된 기하학적 제약 조건이 광학적 손실만을 사용하는 것보다 자율학습된 자동차 운동 추정의 강건성을 향상시키는가?
• RQ2 가림, 반사 표면 등 도전적인 실제 시퀀스에서 손실 함수에 기하학적 제약 조건을 통합하면 성능에 어떤 영향을 미치는가?
• RQ3 명시적인 기하학적 감독 없이도 중간 단계의 기하학적 표현(예: 쌍별 매칭)이 깊이 및 자세 추정에 얼마나 기여하는가?
• RQ4 제안된 방법이 KITTI와 같은 표준 벤치마크에서 전체 궤적 추정에서 최신 비지도 학습 방법을 능가하는가?
• RQ5 루프 클로징 없이도 단순한 종단 간 네트워크에 기하학적 감독을 통합하면 기존의 ORB-SLAM2와 같은 전통적 방법을 능가할 수 있는가?

주요 결과

• KITTI 시퀀스 09에서 제안된 방법은 중앙값 절대 궤적 오차(ATE)가 18.36미터를 기록하여, 루프 클로징 없이도 단일 카메라 ORB-SLAM2(38.56미터)를 능가함.
• 시퀀스 10에서는 ATE가 16.15미터를 기록하였으며, 기준 방법 [50]의 23.78미터보다 우수하고 더 복잡한 방법들과 유사한 성능을 보임.
• 매칭 손실은 기준 자율학습 방법 [50]을 크게 향상시켰으며, 광학 유량이나 ICP를 활용한 감독을 받는 방법들조차도 뛰어넘음.
• 짧은 스크립트 평가(예: 3~5프레임 윈도우)에서도 뛰어난 성능을 보였으며, 시퀀스 09에서 스크립트 ATE는 0.0089 ± 0.0054를 기록함.
• 큰 회전 운동을 처리하는 데에는 한계가 있으며, 이는 KITTI 훈련 세트에 회전 데이터가 부족하기 때문일 것으로 보임.
• 더 작은 입력 해상도(128×416)와 단순한 아키텍처를 사용했음에도 불구하고 최신 기준 성능을 달성하여 향후 향상 가능성이 매우 높음을 시사함.