[论文解读] Selective Sensor Fusion for Neural Visual-Inertial Odometry

Changhao Chen, Stefano Rosa+5 more|arXiv (Cornell University)|Mar 4, 2019

Robotics and Sensor-Based Localization参考文献 10被引用 6

一句话总结

本文提出了一种用于单目视觉-惯性里程计的端到端可选择传感器融合框架，提升了在真实世界传感器退化情况下的鲁棒性。该方法引入两种融合策略——确定性软融合与随机硬融合，通过可学习的掩码动态加权视觉与惯性特征，在数据受损情况下优于直接融合，并通过融合掩码的可视化揭示了模态贡献的可解释性。

ABSTRACT

Deep learning approaches for Visual-Inertial Odometry (VIO) have proven successful, but they rarely focus on incorporating robust fusion strategies for dealing with imperfect input sensory data. We propose a novel end-to-end selective sensor fusion framework for monocular VIO, which fuses monocular images and inertial measurements in order to estimate the trajectory whilst improving robustness to real-life issues, such as missing and corrupted data or bad sensor synchronization. In particular, we propose two fusion modalities based on different masking strategies: deterministic soft fusion and stochastic hard fusion, and we compare with previously proposed direct fusion baselines. During testing, the network is able to selectively process the features of the available sensor modalities and produce a trajectory at scale. We present a thorough investigation on the performances on three public autonomous driving, Micro Aerial Vehicle (MAV) and hand-held VIO datasets. The results demonstrate the effectiveness of the fusion strategies, which offer better performances compared to direct fusion, particularly in presence of corrupted data. In addition, we study the interpretability of the fusion networks by visualising the masking layers in different scenarios and with varying data corruption, revealing interesting correlations between the fusion networks and imperfect sensory input data.

研究动机与目标

• 为解决基于深度学习的视觉-惯性里程计在真实世界传感器缺陷（如数据缺失、噪声、错位）下缺乏鲁棒融合策略的问题。
• 开发一种通用的端到端框架，能够基于可靠性和运动动态学习选择性地融合视觉与惯性特征。
• 在存在数据损坏（如遮挡、模糊、传感器漂移）的情况下，提升系统的鲁棒性与精度。
• 通过在不同条件下可视化学习到的掩码层，实现对融合过程的可解释性。
• 在具有受控传感器退化的多样化数据集上评估该框架，证明其优于直接融合基线方法。

提出的方法

• 该框架使用独立的视觉与惯性编码器，分别从单目图像和IMU测量中提取特征。
• 引入一种新型特征融合组件，采用软掩码或硬掩码：软融合使用可微分掩码对特征进行加权，而硬融合使用Gumbel-Softmax学习随机二值掩码。
• 软融合策略通过拼接的视觉与惯性特征计算连续掩码，实现可微分的、确定性的特征加权。
• 硬融合策略通过Gumbel-Softmax采样引入随机性，学习保留或丢弃哪些特征，从而提升对噪声与损坏的鲁棒性。
• 整个网络通过姿态回归损失端到端训练，实现特征提取、融合与轨迹估计的联合优化。
• 通过在不同运动动态与数据损坏水平下可视化融合掩码，实现可解释性。

Figure 1 : Visualization of the learned hard and soft fusion masks under different conditions (left: normal data; middle and right: corrupted data). The number (hard) or weights (soft) of selected features in the visual and inertial sides can reflect the self-motion dynamics (increasing importance o

实验结果

研究问题

• RQ1 选择性传感器融合在神经视觉-惯性里程计中如何提升对受损或缺失视觉与惯性数据的鲁棒性？
• RQ2 在旋转与平移等不同运动动态下，视觉与惯性模态的相对贡献如何？
• RQ3 学习到的融合掩码与环境及传感器退化条件之间有何关联？
• RQ4 在退化场景下，随机硬融合是否优于确定性软融合与直接拼接？
• RQ5 融合掩码在多大程度上可被解释，以揭示各传感器模态的优缺点？

主要发现

• 所提出的可选择融合框架在数据损坏情况下优于直接融合基线方法，尤其在自动驾驶、微型飞行器（MAV）与手持式视觉-惯性里程计数据集上表现出更强的鲁棒性与精度。
• 在高旋转场景（如转弯）中，惯性特征占主导地位；而在高线性平移中，视觉特征更为突出，证实了其互补优势。
• 在图像遮挡情况下，超过90%的惯性特征被选择，凸显系统在视觉受损时依赖惯性数据的能力。
• 在正常与轻度退化条件下，视觉特征仍占主导（超过60%未被阻断），但在严重退化时其贡献下降，促使系统更依赖惯性数据。
• 学习到的硬融合掩码与运动动态强相关：快速旋转时选择更多惯性特征，高速平移时选择更多视觉特征。
• 融合掩码的可视化揭示了可解释的模式——例如在转弯时增加惯性加权——验证了模型自适应、上下文感知的融合行为。

Figure 2 : An overview of our neural visual-inertial odometry architecture with proposed selective sensor fusion, consisting of visual and inertial encoders, feature fusion, temporal modelling and pose regression. In the feature fusion component, we compare our proposed soft and hard selective senso