[논문 리뷰] SelfVIO: Self-Supervised Deep Monocular Visual-Inertial Odometry and Depth Estimation

Yasin Almalıoğlu, Mehmet Turan외 5명|arXiv (Cornell University)|2019. 11. 22.

Advanced Vision and Imaging인용 수 12

한 줄 요약

SelfVIO는 레이블이 없는 RGB 시퀀스와 IMU 데이터로부터 단일 영상 시각-관성 운동 추정 및 깊이 추정을 위한 자기지도 학습 딥러닝 프레임워크를 제안한다. 이는 6-DoF 카메라 운동과 밀도 있는 깊이 맵을 동시에 예측한다. 적대적 훈련과 자기적응형 센서 융합을 활용하여, 지도 학습이 필요 없고 IMU 내재 매개변수나 센서 간 외재 캘리브레이션도 필요로 하지 않으며, KITTI, EuRoC, Cityscapes 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the last decade, numerous supervised deep learning approaches requiring large amounts of labeled data have been proposed for visual-inertial odometry (VIO) and depth map estimation. To overcome the data limitation, self-supervised learning has emerged as a promising alternative, exploiting constraints such as geometric and photometric consistency in the scene. In this study, we introduce a novel self-supervised deep learning-based VIO and depth map recovery approach (SelfVIO) using adversarial training and self-adaptive visual-inertial sensor fusion. SelfVIO learns to jointly estimate 6 degrees-of-freedom (6-DoF) ego-motion and a depth map of the scene from unlabeled monocular RGB image sequences and inertial measurement unit (IMU) readings. The proposed approach is able to perform VIO without the need for IMU intrinsic parameters and/or the extrinsic calibration between the IMU and the camera. estimation and single-view depth recovery network. We provide comprehensive quantitative and qualitative evaluations of the proposed framework comparing its performance with state-of-the-art VIO, VO, and visual simultaneous localization and mapping (VSLAM) approaches on the KITTI, EuRoC and Cityscapes datasets. Detailed comparisons prove that SelfVIO outperforms state-of-the-art VIO approaches in terms of pose estimation and depth recovery, making it a promising approach among existing methods in the literature.

연구 동기 및 목표

• 대규모 레이블이 있는 데이터셋이 필요한 문제를 해결하기 위해 지도 학습 기반 시각-관성 운동 추정(VIO) 및 깊이 추정의 데이터 부족 문제를 해결한다.
• 단일 영상 RGB 시퀀스와 원시 IMU 읽기로부터 6-DoF 자가 운동과 밀도 있는 깊이 맵을 동시에 추정하는 자기지도 학습 프레임워크를 개발한다.
• IMU 내재 매개변수와 카메라 및 IMU 간 외재 캘리브레이션에 대한 의존도를 제거하기 위해 이를 종합적인 훈련 과정을 통해 암묵적으로 학습한다.
• 저조도, 낮은 무늬, 변동하는 조명 조건과 같은 도전적인 시각 조건과 센서 캘리브레이션 오차에 대한 강건성을 향상시킨다.
• 루프 클로징이나 지도 학습 없이도 여러 벤치마크 데이터셋에서 자가 운동 추정 및 깊이 복원 성능 모두 최신 기술 수준을 달성한다.

제안 방법

• 공간 변환기(스페이셜 트랜스포머)를 사용해 특징 정렬을 수행하는 깊이 추정, 시각적 오도메트리, 관성 오도메트리, 시각-관성 융합 모듈을 통합한 엔드 투 엔드 학습 가능한 아키텍처를 사용한다.
• 예측된 깊이 맵의 현실성 향상과 프레임 간 특징 일관성 향상을 위해 적대적 훈련을 적용한다.
• 자기적응형 시각-관성 융합은 운동 동역학에 따라 시각적 및 관성적 특징의 가중치를 동적으로 조정하여 다양한 운동 조건에서의 강건성을 향상시킨다.
• 훈련 중에 사진학적 및 기하학적 일관성을 감독 신호로 활용하며, 이미지 재구성과 자세 일관성에 의해 깊이 및 운동 예측을 감독한다.
• 실제 이미지와 생성된 이미지를 구분하는 타겟 식별 모듈을 사용해 적대적 피드백을 통해 깊이 및 자세 예측의 품질을 향상시킨다.
• 모델은 지도 학습이 필요 없고, 레이블이 없는 단일 영상 시퀀스와 원시 IMU 측정값만을 사용해 훈련된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 딥러닝 프레임워크가 레이블이 없는 데이터에 의존하지 않고도 경쟁 가능한 6-DoF 자가 운동 및 깊이 추정 성능을 달성할 수 있는가?
• RQ2 이러한 방법은 카메라 및 IMU 간 시간적 오프셋과 공간적 비일치성 등 센서 캘리브레이션 오차에 대해 얼마나 강건한가?
• RQ3 적대적 훈련이 자기지도 학습 환경에서 단일 영상 깊이 추정 및 운동 예측의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 IMU 내재 매개변수나 외재 캘리브레이션에 대한 사전 지식 없이도 종합적인 훈련 과정을 통해 시각-관성 융합을 효과적으로 학습할 수 있는가?
• RQ5 이러한 방법은 자가 운동 정확도 및 깊이 복원 품질 측면에서 최신 기술 수준의 지도 학습 및 비지도 학습 VIO, VO, VSLAM 시스템을 초월하는가?

주요 결과

• SelfVIO는 KITTI, EuRoC, Cityscapes 데이터셋에서 자가 운동 추정 및 깊이 복원 정확도 측면에서 최신 기술 수준의 VIO, VO, VSLAM 방법을 모두 능가한다.
• 시각 및 관성 센서 간 다양한 시간적, 이동적 오프셋 조건에서도 상대적 이동 및 회전 오차가 가장 낮게 유지되어 느슨한 캘리브레이션에 대한 강건성을 입증한다.
• 자세 오차가 최대 30도까지 발생하더라도 SelfVIO는 낮은 오차율을 유지하며 센서 비일치성에 대한 효과적인 학습 능력을 보여준다.
• 낮은 무늬와 도전적인 조명 조건이 존재하는 시퀀스에서도 SelfVIO는 안정적인 성능을 유지하며, 이러한 조건에서 발산하는 필터 기반 방법(예: OKVIS, VINS-Mono)을 능가한다.
• IMU 데이터가 제공되지 않을 경우에도 기존의 단일 영상 딥러닝 접근법보다 깊이 및 운동 추정 성능이 뛰어나다.
• 제거 분석 결과, 적대적 훈련과 자기적응형 융합이 깊이 맵 품질 향상과 자세 추정 정확도 향상에 크게 기여한다.