[论文解读] FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection

Chaokang Jiang, Guangming Wang+3 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Neural Network Applications被引用 4

一句话总结

FFPA-Net 提出了一种高效的3D目标检测网络，通过投影感知卷积加速LiDAR点云特征提取，并引入两个即插即用的融合模块——LiCamFuse 和 BiLiCamFuse——实现LiDAR与RGB数据之间精确、实时的跨模态特征融合。该方法在RTX 2080Ti上仅需59.40 ms的推理时间，便在KITTI数据集上实现了最先进（SOTA）的3D检测性能。

ABSTRACT

Promising complementarity exists between the texture features of color images and the geometric information of LiDAR point clouds. However, there still present many challenges for efficient and robust feature fusion in the field of 3D object detection. In this paper, first, unstructured 3D point clouds are filled in the 2D plane and 3D point cloud features are extracted faster using projection-aware convolution layers. Further, the corresponding indexes between different sensor signals are established in advance in the data preprocessing, which enables faster cross-modal feature fusion. To address LiDAR points and image pixels misalignment problems, two new plug-and-play fusion modules, LiCamFuse and BiLiCamFuse, are proposed. In LiCamFuse, soft query weights with perceiving the Euclidean distance of bimodal features are proposed. In BiLiCamFuse, the fusion module with dual attention is proposed to deeply correlate the geometric and textural features of the scene. The quantitative results on the KITTI dataset demonstrate that the proposed method achieves better feature-level fusion. In addition, the proposed network shows a shorter running time compared to existing methods.

研究动机与目标

• 解决在3D目标检测中稀疏LiDAR点云与密集RGB图像之间特征融合效率低且不准确的挑战。
• 通过将3D坐标投影到保留几何信息的2D平面，减少点云处理中KNN和最远点采样带来的计算开销。
• 通过学习的距离感知融合权重与双向特征交互，缓解LiDAR点与图像像素之间的跨模态错位问题。
• 设计即插即用模块，实现在无需架构大规模重构的前提下高效且高精度的特征融合。
• 在保持或提升标准基准（如KITTI）检测精度的同时，实现近实时的推理速度。

提出的方法

• 将原始3D LiDAR坐标投影到2D平面，利用投影感知卷积层实现更快、结构化的特征提取。
• 预处理数据以预先计算并存储LiDAR点与图像像素之间的跨模态对应索引，实现在融合过程中快速查找。
• 引入LiCamFuse模块，基于双模态特征之间的欧氏距离计算软查询权重，以提升对齐效果。
• 提出BiLiCamFuse模块，一种双注意力融合机制，通过允许LiDAR点查询邻近像素特征，反之亦然，实现双向特征交互。
• 在投影后的2D地图上使用局部KNN操作，高效提取局部几何与纹理特征，降低计算成本。
• 将融合模块集成到端到端的3D检测网络中，实现特征学习与检测任务的联合优化。

实验结果

研究问题

• RQ1 投影感知特征学习是否能在保持LiDAR点云几何保真度的同时，降低3D目标检测中的计算成本？
• RQ2 在特征融合过程中，如何有效缓解LiDAR点与图像像素之间的跨模态错位问题？
• RQ3 即插即用的融合模块（如LiCamFuse与BiLiCamFuse）在不牺牲推理速度的前提下，能在多大程度上提升检测精度？
• RQ4 在2D LiDAR投影中，何种投影分辨率能最佳平衡特征完整性与零点密度？
• RQ5 与现有方法相比，所提出的融合策略在标准基准上的精度、速度与鲁棒性方面表现如何？

主要发现

• FFPA-Net 在KITTI验证集上对易样本的3D检测mAP（IoU=0.7）达到91.93%，优于PointRCNN与EPNet。
• 该网络在NVIDIA RTX 2080Ti GPU上每轮推理仅耗时59.40 ms，显著快于许多仅使用LiDAR或多模态的基线方法。
• BiLiCamFuse 在易样本上实现了最高的mAP 91.93%，证明了深度双向特征融合的有效性。
• LiCamFuse 通过在软查询权重中引入欧氏距离，提升了融合精度，减少了模态间的错位。
• 最优投影分辨率为40×275，实现了特征保留与计算效率之间的良好平衡。
• 消融实验表明，LiCamFuse与BiLiCamFuse均对性能有显著贡献，其中BiLiCamFuse在付出适度速度代价后取得了最佳整体结果。