[论文解读] Enabling Efficient Deep Convolutional Neural Network-based Sensor Fusion for Autonomous Driving

Xiaoming Zeng, Zhendong Wang+1 more|arXiv (Cornell University)|Feb 22, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出一种特征匹配框架，通过解决逐元素融合中的特征不匹配问题，提升基于深度卷积神经网络（DCNN）的自动驾驶传感器融合性能。该方法引入特征差异度量（Fusion-filter）以实现特征匹配、采用层共享机制降低计算成本，并设计特征差异损失以指导训练，在KITTI数据集上实现了比最先进方法更高的精度与更低的推理开销。

ABSTRACT

Autonomous driving demands accurate perception and safe decision-making. To achieve this, automated vehicles are now equipped with multiple sensors (e.g., camera, Lidar, etc.), enabling them to exploit complementary environmental context by fusing data from different sensing modalities. With the success of Deep Convolutional Neural Network(DCNN), the fusion between DCNNs has been proved as a promising strategy to achieve satisfactory perception accuracy. However, mainstream existing DCNN fusion schemes conduct fusion by directly element-wisely adding feature maps extracted from different modalities together at various stages, failing to consider whether the features being fused are matched or not. Therefore, we first propose a feature disparity metric to quantitatively measure the degree of feature disparity between the feature maps being fused. We then propose Fusion-filter as a feature-matching techniques to tackle the feature-mismatching issue. We also propose a Layer-sharing technique in the deep layer that can achieve better accuracy with less computational overhead. Together with the help of the feature disparity to be an additional loss, our proposed technologies enable DCNN to learn corresponding feature maps with similar characteristics and complementary visual context from different modalities to achieve better accuracy. Experimental results demonstrate that our proposed fusion technique can achieve better accuracy on KITTI dataset with less computational resources demand.

研究动机与目标

• 解决传统基于DCNN的中间融合中因未考虑模态间语义对应关系而导致的特征图融合不匹配问题。
• 通过一种新型度量方法，量化不同传感器（如RGB与LiDAR）特征图之间的特征差异。
• 通过引入可学习的Fusion-filter机制，在逐元素相加前对不同模态的特征进行对齐，从而提升融合精度。
• 通过提出层共享机制，在深层网络中基于特征相似性复用不同模态分支的卷积核，降低深层计算开销。
• 通过在反向传播中引入特征差异损失作为辅助目标，提升训练稳定性与特征对齐效果。

提出的方法

• 提出一种特征差异（FD）度量方法，用于定量衡量来自不同传感器（如RGB与LiDAR）的特征图在视觉特性上的差异。
• 提出Fusion-filter模块，一种可学习机制，可在融合前学习不同模态间特征的匹配关系，确保仅语义对齐的特征被组合。
• 设计层共享架构，在深层网络中跨模态分支复用卷积核，减少模型参数量与乘加操作数（MACs）。
• 引入特征差异损失作为额外训练目标，最小化融合后特征图间的FD值，从而在优化过程中促进特征对齐。
• 采用多阶段融合策略，结合跳跃连接结构，通过有序特征融合整合早期、中期与晚期融合的优势。
• 使用KITTI数据集进行评估，训练包含与不包含所提组件的模型，以独立分析其对精度与效率的影响。

实验结果

研究问题

• RQ1 多模态特征逐元素融合中的特征不匹配是否会导致自动驾驶感知精度下降？
• RQ2 能否通过定量特征差异度量有效衡量不同传感模态间特征的不匹配程度？
• RQ3 可学习的融合机制（Fusion-filter）是否能提升特征匹配效果，从而改善分割精度？
• RQ4 在深层网络中采用层共享机制是否能在不损失精度的前提下降低计算成本？
• RQ5 在训练过程中引入特征差异损失是否能带来更好的特征对齐效果并提升整体性能？

主要发现

• 所提出的特征差异损失显著提升模型性能，BaseLoss在具有挑战性的UU道路场景中取得最佳F-score，优于基线模型。
• AllFilter_U（采用单向Fusion-filter）在所有三个道路场景中均优于基线模型，且在五项指标中的三项位列前三。
• AllFilter_B（采用双向Fusion-filter）在UM与UMM场景中精度优于基线模型，且分割结果更加均衡。
• BaseSharing在UMM场景中实现最佳精度，同时在参数量与MACs方面计算成本最低。
• WeightedSharing（动态调整融合权重）在所有三个道路场景中均优于基线模型，且在UU场景中三项指标表现最佳，尽管参数量更少。
• 消融实验验证，采用特征差异损失训练的模型始终优于未使用该损失的对应模型，证明了所提损失的有效性。