[论文解读] 3D Object Detection with Pointformer

Xuran Pan, Zhuofan Xia+3 more|arXiv (Cornell University)|Dec 21, 2020

3D Shape Modeling and Analysis参考文献 44被引用 9

一句话总结

该论文提出Pointformer，一种基于Transformer的点云3D目标检测主干网络，通过引入局部、全局及局部-全局注意力机制，学习上下文感知且排列不变的特征。通过集成坐标精修模块与多尺度特征融合，当作为VoteNet、PointRCNN和CBGS等先进检测器的即插即用主干网络时，Pointformer在室内和室外基准上显著提升了检测精度。

ABSTRACT

Feature learning for 3D object detection from point clouds is very challenging due to the irregularity of 3D point cloud data. In this paper, we propose Pointformer, a Transformer backbone designed for 3D point clouds to learn features effectively. Specifically, a Local Transformer module is employed to model interactions among points in a local region, which learns context-dependent region features at an object level. A Global Transformer is designed to learn context-aware representations at the scene level. To further capture the dependencies among multi-scale representations, we propose Local-Global Transformer to integrate local features with global features from higher resolution. In addition, we introduce an efficient coordinate refinement module to shift down-sampled points closer to object centroids, which improves object proposal generation. We use Pointformer as the backbone for state-of-the-art object detection models and demonstrate significant improvements over original models on both indoor and outdoor datasets.

研究动机与目标

• 解决在不规则3D点云数据中进行有效特征学习以实现目标检测的挑战。
• 通过结合局部与全局上下文感知能力，克服体素化与点化方法的局限性。
• 设计一种排列不变且高效的Transformer主干网络，专用于3D点云处理。
• 通过新颖的坐标精修模块提升目标提议质量。
• 在涵盖多种室内与室外3D检测基准的多样化数据集上，展示一致的性能提升。

提出的方法

• 引入局部Transformer（LT）模块，用于建模局部区域内点之间的交互，捕捉物体级别的上下文信息。
• 采用全局Transformer（GT）模块，学习整个点云范围内的场景级上下文感知表征。
• 提出局部-全局Transformer（LGT）模块，将高分辨率局部特征与来自高分辨率特征的全局上下文进行融合。
• 集成坐标精修模块，将下采样后的点重新定位至物体中心，以提升提议质量。
• 采用类似U-Net的架构，结合多尺度Pointformer模块，实现层次化特征学习。
• 将主干网络作为即插即用的替代模块集成到现有3D检测器（如VoteNet、PointRCNN、CBGS）中，无需修改原有网络结构。

实验结果

研究问题

• RQ1 基于Transformer的主干网络能否有效从不规则3D点云中学习上下文感知特征以实现目标检测？
• RQ2 局部、全局及局部-全局注意力机制在杂乱场景中如何促进特征表示的改进？
• RQ3 对采样点进行坐标精修在多大程度上提升了3D检测中的目标提议生成质量？
• RQ4 所提出的Pointformer主干网络是否能在涵盖室内与室外数据集的多样化3D检测基准上实现良好泛化？
• RQ5 位置编码的引入在点云数据上对基于Transformer的主干网络性能有何影响？

主要发现

• 在PointRCNN中替换基线模型后，Pointformer在易样本上实现了0.6 mAP的提升，表明其在局部特征学习方面具有强大能力。
• 全局Transformer在难样本上带来0.9 mAP的提升，表明其在捕捉长距离依赖关系方面的有效性。
• 局部-全局Transformer与坐标精修模块在所有难度级别上均带来一致的mAP增益，且在易样本与难样本类别中均有显著改进。
• 消融实验表明，位置编码至关重要——若省略位置编码，性能将出现显著下降，凸显其在保持几何结构方面的作用。
• 定性注意力可视化显示，Pointformer首先关注局部物体部件，随后扩展到同一物体的其他区域，最后全局关注其他物体，证实了多层次信息传递机制的存在。
• 在SUN RGB-D数据集上，Pointformer与VoteNet结合可在部分遮挡或杂乱物体（如缺失的衣柜或杂乱的桌子）上实现鲁棒检测，展现出良好的泛化能力与鲁棒性。