[论文解读] DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry using 3D Geometric Constraints

Liming Han, Yimin Lin+2 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Vision and Imaging参考文献 33被引用 4

一句话总结

DeepVIO 提出了一种自监督的端到端单目视觉-惯性里程计网络，利用双目序列中的三维几何约束——三维光流和六自由度位姿——来监督二维光流、IMU 预积分以及轨迹融合。该方法在 KITTI 和 EuRoC 数据集上实现了最先进水平的精度与鲁棒性，即使在标定误差、数据异步和帧丢失等挑战性条件下，也优于基于学习的方法和传统 VIO 方法。

ABSTRACT

This paper presents an self-supervised deep learning network for monocular visual inertial odometry (named DeepVIO). DeepVIO provides absolute trajectory estimation by directly merging 2D optical flow feature (OFF) and Inertial Measurement Unit (IMU) data. Specifically, it firstly estimates the depth and dense 3D point cloud of each scene by using stereo sequences, and then obtains 3D geometric constraints including 3D optical flow and 6-DoF pose as supervisory signals. Note that such 3D optical flow shows robustness and accuracy to dynamic objects and textureless environments. In DeepVIO training, 2D optical flow network is constrained by the projection of its corresponding 3D optical flow, and LSTM-style IMU preintegration network and the fusion network are learned by minimizing the loss functions from ego-motion constraints. Furthermore, we employ an IMU status update scheme to improve IMU pose estimation through updating the additional gyroscope and accelerometer bias. The experimental results on KITTI and EuRoC datasets show that DeepVIO outperforms state-of-the-art learning based methods in terms of accuracy and data adaptability. Compared to the traditional methods, DeepVIO reduces the impacts of inaccurate Camera-IMU calibrations, unsynchronized and missing data.

研究动机与目标

• 开发一种自监督的深度学习框架用于单目视觉-惯性里程计，以消除对真实轨迹数据的依赖。
• 通过利用双目序列中的三维几何约束，提升在无纹理、动态及复杂环境下的鲁棒性。
• 减少对精确相机-IMU 标定的依赖，并处理异步或缺失的传感器数据。
• 通过受紧密耦合 VIO 启发的反馈式偏差更新机制，提升 IMU 姿态估计。
• 在无需显式回环检测或重定位流程的情况下，实现绝对轨迹估计。

提出的方法

• 该方法利用双目序列生成合成的三维光流和六自由度自运动作为监督信号，实现自监督训练。
• 通过将三维光流投影到二维空间，对二维光流施加约束，减少孔径问题，并提升在动态和无纹理区域的准确性。
• 采用基于 LSTM 的 IMU 预积分网络，通过自运动一致性损失进行训练，以改善 IMU 姿态估计。
• 融合网络结合视觉与 IMU 特征，利用姿态反馈实时更新陀螺仪和加速度计的偏差。
• 系统采用一种新颖的 IMU 状态更新机制，动态校正偏差，从而增强对传感器噪声和偏差的鲁棒性。
• 整个网络通过光度一致性和几何一致性损失，以端到端的自监督方式联合训练。

实验结果

研究问题

• RQ1 双目序列中的三维几何约束能否有效监督自监督单目 VIO 系统中的二维光流估计？
• RQ2 引入三维光流和六自由度位姿在多大程度上提升了对动态物体和无纹理环境的鲁棒性？
• RQ3 所提出的 IMU 偏差更新机制在噪声或异步 IMU 数据条件下，能在多大程度上提升姿态估计的准确性？
• RQ4 自监督深度学习方法是否能在无需真实轨迹监督的情况下，实现单目 VIO 的最先进性能？
• RQ5 在真实世界挑战（如标定不准确、帧丢失、传感器异步）下，系统表现如何？

主要发现

• 在 KITTI 数据集上，当相机-IMU 标定误差为 10° 时，DeepVIO 的相对平移误差为 0.77%，旋转误差为 1.11%，优于 VINS 的 1.38% 和 2.88%。
• 在 IMU 时间戳偏移 20ms 的情况下，DeepVIO 的相对平移误差为 0.59%，旋转误差为 1.02%，而 VINS 分别为 0.65% 和 2.93%。
• 在 IMU 帧丢失 90% 的情况下，DeepVIO 的平移误差为 0.75%，旋转误差为 0.93%，显著优于 VINS 的 0.88% 和 2.94%。
• 在图像帧丢失 50% 的情况下，DeepVIO 的平移误差为 0.89%，旋转误差为 1.06%，而 VINS 分别下降至 0.37% 和 3.02%。
• 合成的三维光流将动态物体上的二维光流误差从 Flownet2 的 13.62 像素降低至 DeepVIO 的 6.31 像素，表明鲁棒性显著提升。
• IMU 偏差更新机制显著减少了漂移，尤其是在高速旋转期间，相比基线 VIO-N，精度明显提高。