[论文解读] Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

Jaekyum Kim, Junho Koh+4 more|arXiv (Cornell University)|Jul 17, 2018

Video Surveillance and Tracking Methods参考文献 34被引用 11

一句话总结

该论文提出了一种基于门控信息融合（GIF）网络的鲁棒深度多模态学习框架，该网络根据特征质量自适应地为不同模态（如RGB和LiDar）的特征分配权重，实现选择性融合，从而在输入退化或缺失时仍能保持性能。该方法在KITTI和SUN-RGBD数据集上实现了最先进性能，尤其在遮挡、噪声和光照变化等不利条件下，mAP指标显著优于基线模型。

ABSTRACT

The goal of multi-modal learning is to use complimentary information on the relevant task provided by the multiple modalities to achieve reliable and robust performance. Recently, deep learning has led significant improvement in multi-modal learning by allowing for the information fusion in the intermediate feature levels. This paper addresses a problem of designing robust deep multi-modal learning architecture in the presence of imperfect modalities. We introduce deep fusion architecture for object detection which processes each modality using the separate convolutional neural network (CNN) and constructs the joint feature map by combining the intermediate features from the CNNs. In order to facilitate the robustness to the degraded modalities, we employ the gated information fusion (GIF) network which weights the contribution from each modality according to the input feature maps to be fused. The weights are determined through the convolutional layers followed by a sigmoid function and trained along with the information fusion network in an end-to-end fashion. Our experiments show that the proposed GIF network offers the additional architectural flexibility to achieve robust performance in handling some degraded modalities, and show a significant performance improvement based on Single Shot Detector (SSD) for KITTI dataset using the proposed fusion network and data augmentation schemes.

研究动机与目标

• 解决输入模态退化或缺失时的鲁棒多模态学习挑战。
• 设计一种深度融合架构，根据特征质量自适应控制各模态的信息流。
• 在遮挡、噪声和光照变化等不利条件下提升目标检测性能。
• 开发一种可训练的、端到端的融合机制，通过学习的门控机制动态分配模态权重。
• 在多样化的现实世界传感器退化场景中验证所提方法的鲁棒性与泛化能力。

提出的方法

• 该方法使用独立的卷积神经网络（CNN）从各模态（如RGB和LiDar图像）中提取中间特征。
• 门控信息融合（GIF）网络通过学习的门控机制计算模态特定的权重，将这些特征进行融合。
• 门控权重由权重生成（WG）网络生成，该网络对拼接的特征图应用卷积层，再通过Sigmoid函数输出。
• GIF网络对特征与其对应权重进行逐元素相乘，实现基于输入质量的选择性融合。
• 整个架构（包括CNN主干网络和GIF）通过一种自定义的数据增强策略进行端到端训练，该策略人为引入模态退化。
• 该融合策略使模型能够抑制不可靠特征（如被遮挡或空白区域的特征），同时强化高质量输入的贡献。

实验结果

研究问题

• RQ1 深度多模态学习系统在某一或多个输入模态退化时，如何保持鲁棒性能？
• RQ2 可学习的门控机制能否根据输入质量动态调整各模态的贡献？
• RQ3 通过门控网络实现的自适应特征融合是否在不利条件下的目标检测中优于固定或非自适应融合策略？
• RQ4 模拟真实世界退化的数据增强在多模态融合模型鲁棒性提升方面有多大作用？
• RQ5 所提方法在正常和退化场景下与最先进2D目标检测器相比表现如何？

主要发现

• 在KITTI数据集上，所提的R-DML方法在所有难度级别下均达到或超过SSD、3DOP、Mono3D、Deep Manta和MV3D的平均平均精度（mAP）。
• 在RGB图像被遮挡的情况下，R-DML的mAP达到35.65，显著优于B-DML（29.39 mAP）和SSD（30.76 mAP）在同一测试集上的表现。
• 当RGB模态被屏蔽时，R-DML的mAP保持在30.76，而B-DML下降至28.37 mAP，表明其对缺失数据具有更强的鲁棒性。
• 在扩展的SUN-RGBD数据集上，R-DML在RGB+深度输入下达到40.43 mAP，优于B-DML（36.31 mAP）和监督迁移方法（26.68 mAP）。
• 即使在严重退化（如噪声或光照变化）条件下，R-DML仍保持强劲性能（例如，噪声RGB下的mAP为32.76），在所有测试场景中均优于B-DML和SSD。
• GIF机制成功学习到抑制低质量特征——表现为遮挡或空白区域的权重接近零——同时保留其他模态的高质量贡献。