[논문 리뷰] DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry using 3D Geometric Constraints

Liming Han, Yimin Lin외 2명|arXiv (Cornell University)|2019. 06. 27.

Advanced Vision and Imaging참고 문헌 33인용 수 4

한 줄 요약

DeepVIO는 스테레오 시퀀스로부터 3D 기하 구속 조건—3D 옵티컬 플로우 및 6-DoF 자세—을 활용하여 2D 옵티컬 플로우, IMU 프리인.tegration, 궤적 융합을 자율 학습 방식으로 감독하는 엔드 투 엔드 단일 카메라 시각-자이로스코프 오도메트리 네트워크를 제안한다. KITTI 및 EuRoC 데이터셋에서 도전적인 조건인 캘리브레이션 오차, 비동기 데이터, 프레임 누락 등에서도 최신 기술 수준의 정확성과 강건성을 확보하며, 학습 기반 및 전통적인 VIO 방법을 능가한다.

ABSTRACT

This paper presents an self-supervised deep learning network for monocular visual inertial odometry (named DeepVIO). DeepVIO provides absolute trajectory estimation by directly merging 2D optical flow feature (OFF) and Inertial Measurement Unit (IMU) data. Specifically, it firstly estimates the depth and dense 3D point cloud of each scene by using stereo sequences, and then obtains 3D geometric constraints including 3D optical flow and 6-DoF pose as supervisory signals. Note that such 3D optical flow shows robustness and accuracy to dynamic objects and textureless environments. In DeepVIO training, 2D optical flow network is constrained by the projection of its corresponding 3D optical flow, and LSTM-style IMU preintegration network and the fusion network are learned by minimizing the loss functions from ego-motion constraints. Furthermore, we employ an IMU status update scheme to improve IMU pose estimation through updating the additional gyroscope and accelerometer bias. The experimental results on KITTI and EuRoC datasets show that DeepVIO outperforms state-of-the-art learning based methods in terms of accuracy and data adaptability. Compared to the traditional methods, DeepVIO reduces the impacts of inaccurate Camera-IMU calibrations, unsynchronized and missing data.

연구 동기 및 목표

• 지상 진동 궤적 데이터에 의존하지 않는 단일 카메라 시각-자이로스코프 오도메트리용 자율 학습 딥 러닝 프레임워크를 개발하는 것.
• 스테레오 시퀀스로부터 유도된 3D 기하 구속 조건을 활용하여 텍스처가 없는 영역, 동적인 환경 등 도전적인 환경에서의 강건성을 향상시키는 것.
• 정밀한 카메라-IMU 캘리브레이션에 대한 의존도를 줄이고, 비동기 또는 누락된 센서 데이터를 처리할 수 있도록 하는 것.
• 엄밀하게 결합된 VIO에 영감을 받은 피드백 기반 바이어스 업데이트 메커니즘을 통해 IMU 자세 추정을 향상시키는 것.
• 명시적인 루프 클로징 또는 재위치 지정 파이프라인 없이 절대 궤적 추정을 달성하는 것.

제안 방법

• 스테레오 시퀀스를 사용하여 3D 옵티컬 플로우 및 6-DoF 자이로스코프 운동을 합성된 지도 신호로 생성하여 자율 학습을 위한 지도를 제공한다.
• 2D 옵티컬 플로우는 3D 옵티컬 플로우의 투영을 통해 제약을 받으며, 이로 인해 아파처 문제를 줄이고 동적인 영역 및 텍스처가 없는 영역에서 정확도를 향상시킨다.
• LSTM 기반의 IMU 프리인테그레이션 네트워크는 자이로스코프 운동 일관성 손실을 사용하여 훈련되어 IMU 자세 추정 성능을 향상시킨다.
• 시각 및 IMU 특징을 융합하는 네트워크는 자세 피드백을 활용하여 실시간으로 자이로스코프 및 가속도계 바이어스를 업데이트한다.
• 전체 시스템은 센서 노이즈 및 드리프트에 대한 강건성을 향상시키기 위해 동적으로 바이어스를 보정하는 새로운 IMU 상태 업데이트 기법을 도입한다.
• 전체 네트워크는 광학적 및 기하 일관성 손실을 사용하여 자율 학습 방식으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 스테레오 시퀀스로부터 유도된 3D 기하 구속 조건이 자율 학습 방식의 단일 카메라 VIO 시스템에서 2D 옵티컬 플로우 추정을 효과적으로 감독할 수 있는가?
• RQ2 3D 옵티컬 플로우 및 6-DoF 자세를 통합함으로써 동적인 물체 및 텍스처가 없는 환경에 대한 강건성이 얼마나 향상되는가?
• RQ3 제안된 IMU 바이어스 업데이트 메커니즘이 노이즈가 많거나 비동기적인 IMU 데이터 하에서 자세 추정 정확도를 얼마나 향상시키는가?
• RQ4 자율 학습 기반의 딥 러닝 접근 방식이 지상 진동 궤적 지도 없이도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 정확한 캘리브레이션 오차, 누락된 프레임, 센서 비동기성 등의 실세계 도전 과제 하에서 시스템의 성능은 어떠한가?

주요 결과

• KITTI 데이터셋에서 10° 카메라-IMU 캘리브레이션 오차 조건 하에서 DeepVIO는 상대적 이동 오차 0.77%와 회전 오차 1.11%를 기록하였으며, VINS(1.38% 및 2.88%)를 능가했다.
• 20ms IMU 타임스탬프 오프셋 조건에서 DeepVIO는 상대적 이동 오차 0.59%와 회전 오차 1.02%를 유지하였고, VINS는 각각 0.65% 및 2.93%를 기록했다.
• IMU 프레임 90% 손실 조건에서 DeepVIO는 이동 오차 0.75%와 회전 오차 0.93%를 기록하였으며, VINS(0.88% 및 2.94%)에 비해 뚜렷한 우월성을 보였다.
• 이미지 프레임 50% 손실 조건에서 DeepVIO는 이동 오차 0.89%와 회전 오차 1.06%를 유지하였고, VINS는 각각 0.37% 및 3.02%로 하락했다.
• 합성된 3D 옵티컬 플로우 덕분에 동적인 물체에서 2D 플로우 오차가 Flownet2 대비 13.62에서 6.31 픽셀로 감소하여 강건성이 향상됨을 입증하였다.
• IMU 바이어스 업데이트 메커니즘이 드리프트를 크게 감소시켜 고속 회전 조건에서도 정확도를 향상시켰으며, 기준 VIO-N 대비 우수한 성능을 보였다.