[论文解读] FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection

Shaoqing Xu, Dingfu Zhou+4 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Neural Network Applications参考文献 47被引用 9

一句话总结

FusionPainting 提出了一种新颖的多模态融合框架，通过基于注意力的模块自适应地结合2D图像与3D点云的语义分割，以提升3D目标检测性能。通过融合两种模态的互补语义线索，该方法在nuScenes基准上实现了最先进（SOTA）的性能，相较于现有方法在NDS上提升8.1分，在mAP上提升13.6分。

ABSTRACT

Accurate detection of obstacles in 3D is an essential task for autonomous driving and intelligent transportation. In this work, we propose a general multimodal fusion framework FusionPainting to fuse the 2D RGB image and 3D point clouds at a semantic level for boosting the 3D object detection task. Especially, the FusionPainting framework consists of three main modules: a multi-modal semantic segmentation module, an adaptive attention-based semantic fusion module, and a 3D object detector. First, semantic information is obtained for 2D images and 3D Lidar point clouds based on 2D and 3D segmentation approaches. Then the segmentation results from different sensors are adaptively fused based on the proposed attention-based semantic fusion module. Finally, the point clouds painted with the fused semantic label are sent to the 3D detector for obtaining the 3D objection results. The effectiveness of the proposed framework has been verified on the large-scale nuScenes detection benchmark by comparing it with three different baselines. The experimental results show that the fusion strategy can significantly improve the detection performance compared to the methods using only point clouds, and the methods using point clouds only painted with 2D segmentation information. Furthermore, the proposed approach outperforms other state-of-the-art methods on the nuScenes testing benchmark.

研究动机与目标

• 为解决单模态3D目标检测的局限性，特别是2D分割中边界模糊导致的误检问题，以及3D点云中纹理理解能力差的问题。
• 通过在语义层面融合2D RGB图像与3D LiDAR点云的语义信息，提升检测精度。
• 开发一种通用的、与检测器无关的框架，通过自适应融合2D与3D分割结果，增强任意3D检测器的性能。
• 通过结合两种模态的互补优势，缓解现有融合方法的缺陷——如不准确的2D投影和有限的3D纹理理解能力。

提出的方法

• 该框架采用多模态语义分割模块，利用现成模型从2D图像和3D点云中提取语义标签。
• 一种基于自适应注意力的语义融合模块，在体素级特征空间中学习2D与3D分割特征的重要性权重，基于上下文线索进行动态调整。
• 融合过程为每个3D点生成优化后的语义标签，随后利用该标签对点云进行“着色”，以增强其语义上下文信息。
• 经着色的点云被输入至3D目标检测器（如CenterPoint、PointPillars）进行最终的检测推理。
• 注意力模块与检测器端到端联合训练，使网络能够学习到与模态相关的注意力权重，并根据局部场景上下文自适应调整。
• 该方法兼容基于点和基于体素的3D检测器，因此可作为通用的融合框架使用。

实验结果

研究问题

• RQ1 融合2D与3D语义分割结果是否能显著提升3D目标检测性能，超越单独使用任一模态的效果？
• RQ2 如何有效结合2D图像分割（高纹理、低深度）与3D点云分割（对遮挡鲁棒、几何精度高）的互补优势？
• RQ3 自适应注意力机制是否能优于固定权重或早期融合策略，在多模态3D检测中表现更优？
• RQ4 所提出的融合策略是否具有通用性，可在不同3D检测器上保持性能增益？

主要发现

• 当同时使用2D与3D着色并引入自适应注意力模块时，FusionPainting框架相较于基线CenterPoint，mAP提升11.30分，NDS提升5.45分。
• 在nuScenes测试集上，该方法实现了66.53%的mAP和70.68%的NDS，优于此前的SOTA方法3DCVF，分别提升8.1分NDS和13.6分mAP。
• 消融实验表明，仅使用2D分割可带来21.90%的mAP和8.46%的NDS提升，而仅使用3D分割可带来9.81%的mAP和3.92%的NDS提升。
• 结合2D与3D着色并使用自适应注意力模块时，三种检测器的平均性能提升最高：mAP提升26.58%，NDS提升10.90%。
• 定性结果表明，FusionPainting有效减少了2D着色带来的误检，同时相比仅使用2D或仅使用3D着色，边界检测更加准确。
• 该框架与检测器无关，在CenterPoint、PointPillars及其他3D检测器上均展现出一致的性能增益。