[论文解读] MAFF-Net: Filter False Positive for 3D Vehicle Detection with Multi-modal Adaptive Feature Fusion

Zehan Zhang, Ming Zhang+5 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Neural Network Applications参考文献 41被引用 10

一句话总结

本文提出MAFF-Net，一种端到端、单阶段的3D车辆检测网络，通过通道注意力实现多模态自适应特征融合，利用RGB图像特征与激光雷达点云数据联合减少误报。该方法在KITTI基准上实现了最先进性能，且推理速度显著快于现有多模态方法，显著提升了误报过滤能力，同时保持了真阳性检测率。

ABSTRACT

3D vehicle detection based on multi-modal fusion is an important task of many applications such as autonomous driving. Although significant progress has been made, we still observe two aspects that need to be further improvement: First, the specific gain that camera images can bring to 3D detection is seldom explored by previous works. Second, many fusion algorithms run slowly, which is essential for applications with high real-time requirements(autonomous driving). To this end, we propose an end-to-end trainable single-stage multi-modal feature adaptive network in this paper, which uses image information to effectively reduce false positive of 3D detection and has a fast detection speed. A multi-modal adaptive feature fusion module based on channel attention mechanism is proposed to enable the network to adaptively use the feature of each modal. Based on the above mechanism, two fusion technologies are proposed to adapt to different usage scenarios: PointAttentionFusion is suitable for filtering simple false positive and faster; DenseAttentionFusion is suitable for filtering more difficult false positive and has better overall performance. Experimental results on the KITTI dataset demonstrate significant improvement in filtering false positive over the approach using only point cloud data. Furthermore, the proposed method can provide competitive results and has the fastest speed compared to the published state-of-the-art multi-modal methods in the KITTI benchmark.

研究动机与目标

• 为解决3D车辆检测中RGB图像特征整合不足的问题，特别是减少误报。
• 设计一种快速、端到端的单阶段融合网络，避免依赖高级2D检测或分割任务。
• 通过通道注意力实现激光雷达与图像特征的自适应融合，最小化噪声或模糊图像区域的干扰。
• 在不降低真阳性检测率的前提下，提升检测精度，尤其增强误报过滤能力。
• 与现有多模态3D检测方法相比，实现更具竞争力的性能，且推理速度显著更快。

提出的方法

• MAFF-Net扩展了PointPillars架构，利用原始RGB图像与点云特征实现端到端、单阶段的3D检测。
• 基于通道注意力的多模态自适应特征融合模块，学习各模态特征的重要性，实现动态融合。
• 提出两种融合策略：PointAttentionFusion（PAF）用于快速、逐点融合；DenseAttentionFusion（DAF）用于更复杂的、基于柱体的多模态融合。
• PAF将投影后的图像特征与3D点特征拼接，并应用通道注意力以抑制无关特征。
• DAF将图像、点云及融合特征视为三种模态，在柱体上应用注意力机制，以增强判别性特征。
• 网络端到端训练，无需中间2D检测或分割输出，确保速度与效率。

实验结果

研究问题

• RQ1 如何有效利用RGB图像特征，基于激光雷达点云数据减少3D车辆检测中的误报？
• RQ2 单阶段、端到端网络是否能在保持或提升检测精度的同时，实现比两阶段融合方法更快的推理速度？
• RQ3 何种融合策略可实现自适应、基于注意力的特征选择，从而最小化噪声图像特征的干扰？
• RQ4 与最先进多模态3D检测方法相比，该方法在精度与推理速度方面表现如何？
• RQ5 在模糊场景中，网络是否能在显著降低误报的同时，仍保持较高的真阳性检测率？

主要发现

• 采用DenseAttentionFusion的MAFF-Net在KITTI测试集上达到85.52%的3D中等难度平均精度（AP），优于基线PointPillars（74.31% AP）及其他多模态方法。
• 该方法在已发表的多模态方法中推理速度最快，达到24.00 Hz，显著快于较慢的ContFuse（16.70 Hz）和MV3D（2.80 Hz）。
• 在KITTI测试集中，MAFF-Net在3D中等难度类别中排名第二，在3D简单类别中排名第一，展现出具有竞争力的性能。
• 定性结果表明，MAFF-Net能有效减少在树丛簇群和类似车辆的围栏结构等复杂情况下的误报。
• 即使使用次优的PointPillars基线，MAFF-Net仍实现1.9%更高的3D中等难度AP，表明其具备强大的鲁棒性与泛化能力。
• 可视化结果证实，注意力模块能有效抑制背景与模糊区域，同时增强融合点云特征中的车辆形状特征。