[论文解读] Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations

Prarthana Bhattacharyya, Krzysztof Czarnecki|arXiv (Cornell University)|Aug 20, 2020

Advanced Neural Network Applications参考文献 6被引用 29

一句话总结

可变形 PV-RCNN 通过引入可学习的可变形关键点采样和上下文门控机制，自适应地聚焦于判别性特征，从而提升点云中 3D 目标检测性能，尤其在稀疏、杂乱或远距离场景中表现更优。该方法在 KITTI 数据集上达到最先进性能，对骑行人检测提升 4%，对行人检测提升 3.5%，在远距离检测中表现出更强鲁棒性，且对高数量关键点的依赖性降低。

ABSTRACT

We present Deformable PV-RCNN, a high-performing point-cloud based 3D object detector. Currently, the proposal refinement methods used by the state-of-the-art two-stage detectors cannot adequately accommodate differing object scales, varying point-cloud density, part-deformation and clutter. We present a proposal refinement module inspired by 2D deformable convolution networks that can adaptively gather instance-specific features from locations where informative content exists. We also propose a simple context gating mechanism which allows the keypoints to select relevant context information for the refinement stage. We show state-of-the-art results on the KITTI dataset.

研究动机与目标

• 解决 PV-RCNN 中随机关键点采样方法在不同物体尺度、点云密度和场景杂乱程度下适应性不足的问题。
• 通过学习自适应的关键点偏移量，实现对点云中显著判别性特征的对齐，从而改进 3D 目标检测中的提议框优化。
• 通过学习的调制权重动态门控上下文信息，实现特征选择的优化，以抑制杂乱背景并突出相关特征。
• 在具有挑战性的场景中实现更优性能，尤其是远距离检测与小目标检测，此时点云密度低且特征模糊。

提出的方法

• 提出一种自适应变形模块，通过可学习的权重矩阵 $ W_{\text{offset}} $ 学习关键点偏移量，使关键点能够根据局部特征差异移动到更具信息量的区域。
• 采用可学习的对齐模块 $ v'_{i} = v_{i} + \tanh(W_{\text{align}}[f'_{i}]) $，将关键点重新定位至显著特征区域，灵感来源于 2D 可变形卷积。
• 集成上下文门控机制，其中调制门 $ g = \sigma(W_{\text{gate}}f_{i} + b_{\text{gate}}) $ 选择相关上下文特征，最终特征表示为 $ f^{g}_{i} = g \odot W_{\text{fc}}f_{i} $。
• 将可变形关键点优化与基于 PointNet++ 的特征提取流程相结合，保留 PV-RCNN 的多尺度特征聚合能力。
• 采用标准 3D 检测损失进行端到端训练，使用 KITTI 数据集进行优化与评估。
• 引入一种简单但有效的上下文融合模块，通过抑制噪声或无关上下文，增强特征表示能力。

实验结果

研究问题

• RQ1 可学习的可变形关键点采样能否提升在点云密度与尺度变化场景下的 3D 目标检测性能？
• RQ2 通过上下文门控实现的自适应特征优化，是否能有效降低城市交通等复杂环境中的误检率？
• RQ3 所提方法在小目标或远距离目标（如行人和骑行人）检测中的准确率提升程度如何？
• RQ4 由于空间对齐与上下文选择能力的提升，模型是否能在关键点数量更少的情况下仍保持高性能？
• RQ5 在点云稀疏的远距离检测场景中，模型与 PV-RCNN 相比表现如何？

主要发现

• Deformable PV-RCNN 在 KITTI 中等难度基准上对汽车的 AP 达到 83.30%，对骑行人达到 73.46%，对行人达到 58.33%，分别较 PV-RCNN 提升 4.0%（骑行人）和 3.5%（行人）。
• 在 30–50m 距离范围内，模型将骑行人 AP 从 PV-RCNN 的 35.15% 提升至 47.00%，展现出在远距离检测中的优异性能。
• 仅使用 512 个关键点即可达到与 PV-RCNN 相当的性能，表明可变形性显著降低了对高数量关键点的需求。
• 消融实验表明，可变形偏移量与上下文门控机制均对性能提升有贡献，其中对行人类别的提升最为显著。
• 定性结果表明，Deformable PV-RCNN 能检测到此前被遗漏或方向错误的物体（如骑行人和行人），并有效抑制杂乱干扰（如将静坐者误检为骑行人）。