[论文解读] Robust Deep Multi-Modal Sensor Fusion using Fusion Weight Regularization and Target Learning

Myung Seok Shim, Chenye Zhao+4 more|arXiv (Cornell University)|Jan 29, 2019

Robotics and Sensor-Based Localization参考文献 18被引用 5

一句话总结

本文提出ARGate，一种鲁棒的深度多模态传感器融合架构，通过融合权重正则化和单调目标学习增强对传感器故障的鲁棒性。通过引入带有正则化损失的辅助单模态网络并约束融合权重，ARGate在干净和受损输入下均提升了准确率与可解释性，在传感器故障场景下相比基线模型最高提升13.39%。

ABSTRACT

Sensor fusion has wide applications in many domains including health care and autonomous systems. While the advent of deep learning has enabled promising multi-modal fusion of high-level features and end-to-end sensor fusion solutions, existing deep learning based sensor fusion techniques including deep gating architectures are not always resilient, leading to the issue of fusion weight inconsistency. We propose deep multi-modal sensor fusion architectures with enhanced robustness particularly under the presence of sensor failures. At the core of our gating architectures are fusion weight regularization and fusion target learning operating on auxiliary unimodal sensing networks appended to the main fusion model. The proposed regularized gating architectures outperform the existing deep learning architectures with and without gating under both clean and corrupted sensory inputs resulted from sensor failures. The demonstrated improvements are particularly pronounced when one or more multiple sensory modalities are corrupted.

研究动机与目标

• 解决现有基于深度学习的传感器融合模型在传感器故障下的鲁棒性不足问题。
• 提升多模态融合架构中特征重要性的可解释性与融合权重的一致性。
• 设计一种在一种或多种模态失效或产生噪声数据时仍保持鲁棒的门控机制。
• 引入正则化技术以在训练过程中稳定融合权重的学习。
• 提升在自动驾驶和健康监测等多样化传感器融合任务中的性能。

提出的方法

• 提出ARGate，一种带有辅助单模态网络的门控架构，用于调节主模型中的融合权重学习。
• 通过辅助损失应用融合权重正则化，以稳定并约束学习到的融合权重。
• 实施单调融合目标学习，以在所有训练样本中强制实现一致且可解释的融合权重。
• 集成经Sigmoid激活的融合权重，根据重要性动态缩放模态，实现对故障的鲁棒性。
• 通过单模态分支的辅助监督训练主融合网络，以提升泛化能力与权重稳定性。
• 将早期融合、晚期融合和深度融合策略作为基线对比，ARGate作为深度门控融合框架运行。

实验结果

研究问题

• RQ1 融合权重正则化是否能提升多模态传感器融合在传感器故障下的鲁棒性？
• RQ2 单调融合目标学习如何影响学习到的融合权重的一致性与可解释性？
• RQ3 与标准门控模型相比，辅助单模态网络架构在受损输入下的性能提升程度如何？
• RQ4 当多个感官模态同时失效时，所提出方法是否仍能保持或提升性能？
• RQ5 在多样化数据集上，ARGate与非门控及现有门控架构（如NetGated）在准确率与鲁棒性方面相比如何？

主要发现

• 在随机分配传感器故障且有5个正常通道的驾驶员识别数据集中，ARGate-L相比NetGated准确率提升13.39%。
• 在KITTI数据集上，ARGate-L在测试集的硬难度下3D车辆检测AP提升4.81%，中等难度下提升4.63%。
• 在HAR数据集中，ARGate+在均匀噪声传感器故障且有5个正常通道的条件下，相比基线和NetGated分别提升8.25%和6.27%。
• ARGate-L在所有测试条件下（包括固定和随机传感器故障分配）均表现出一致的优越性，未出现性能下降。
• 融合权重正则化与单调目标学习组件显著降低了权重不一致性，并在噪声或受损输入下提升了鲁棒性。
• 在KITTI验证集上，ARGate-L相比AVOD基线在中等难度下3D检测AP提升1.17%，鸟瞰图AP（BEV AP）提升0.4%。