[论文解读] Prototypical VoteNet for Few-Shot 3D Point Cloud Object Detection

Shizhen Zhao, Xiaojuan Qi|arXiv (Cornell University)|Oct 11, 2022

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出 Prototypical VoteNet，一种新颖的少样本 3D 点云目标检测框架，通过原型投票模块（PVM）利用类别无关的几何原型，以及通过原型头模块（PHM）利用类别特定的原型，以增强局部和全局特征学习。该方法在两个新基准 FS-ScanNet 和 FS-SUNRGBD 上实现了最先进性能，5-shot 检测的 AP50 达到 32.25%，显著优于现有基线方法。

ABSTRACT

Most existing 3D point cloud object detection approaches heavily rely on large amounts of labeled training data. However, the labeling process is costly and time-consuming. This paper considers few-shot 3D point cloud object detection, where only a few annotated samples of novel classes are needed with abundant samples of base classes. To this end, we propose Prototypical VoteNet to recognize and localize novel instances, which incorporates two new modules: Prototypical Vote Module (PVM) and Prototypical Head Module (PHM). Specifically, as the 3D basic geometric structures can be shared among categories, PVM is designed to leverage class-agnostic geometric prototypes, which are learned from base classes, to refine local features of novel categories.Then PHM is proposed to utilize class prototypes to enhance the global feature of each object, facilitating subsequent object localization and classification, which is trained by the episodic training strategy. To evaluate the model in this new setting, we contribute two new benchmark datasets, FS-ScanNet and FS-SUNRGBD. We conduct extensive experiments to demonstrate the effectiveness of Prototypical VoteNet, and our proposed method shows significant and consistent improvements compared to baselines on two benchmark datasets.

研究动机与目标

• 为解决实际中针对新类别标注样本有限时目标检测的挑战，该挑战在实践中成本高且耗时长。
• 探索 3D 几何结构（如角点、平面）在不同类别间的可迁移性，以提升少样本泛化能力。
• 设计一种新型少样本 3D 检测框架，有效利用基类与新类别数据，在最小监督下实现高性能。
• 建立新的基准数据集 FS-ScanNet 和 FS-SUNRGBD，以标准化少样本 3D 目标检测的评估流程。

提出的方法

• 原型投票模块（PVM）从基类构建类别无关的 3D 原型记忆库，并利用多头交叉注意力机制，通过共享的几何原型对局部点特征进行优化。
• 原型头模块（PHM）采用多头交叉注意力机制，利用从少样本支持样本中提取的类别特定原型，对全局目标特征进行优化。
• 采用课程式训练以模拟少样本场景，即模型在少样本任务的分布上进行训练，而非单一任务。
• 主干网络（PointNet++）提取初始点特征，随后由 PVM 和 PHM 对特征进行优化，以提升检测性能。
• 模型采用元学习策略进行端到端训练，原型在训练过程中迭代更新，以改善特征表示。
• 提出一种新的 TFA（任务自适应微调）训练协议，即检测器先在基类和新类别上进行预训练，再在平衡的少样本集合上进行微调。

实验结果

研究问题

• RQ1 从基类中学习到的几何原型是否能提升少样本 3D 目标检测中新类别特征表示？
• RQ2 从少量支持样本中提取的类别特定原型如何增强 3D 检测中的判别性全局特征学习？
• RQ3 课程式训练是否能有效模拟少样本推理场景，并提升 3D 检测的泛化能力？
• RQ4 3D 几何基元（如角点、平面）在点云检测中如何促进类别间的迁移学习？
• RQ5 在无大规模预训练的情况下，2D 少样本检测技术在多大程度上可迁移至 3D 检测？

主要发现

• Prototypical VoteNet 在 FS-ScanNet 上实现 5-shot 检测的 AP50 为 32.25%，显著优于次佳基线方法 VoteNet+TFA*（AP50 为 26.02%）。
• 在 3-shot 检测中，该方法在 FS-ScanNet 上实现 31.25% AP50 和 16.01% AP25，表明其能从极少样本中实现强大泛化能力。
• 所提出的 PVM 和 PHM 模块协同增强局部与全局特征学习，在所有样本设置（1-、3- 和 5-shot）中均带来一致性能提升。
• 消融实验表明，使用几何原型与课程式训练相比标准微调和基线少样本方法，显著提升性能。
• 新基准 FS-ScanNet 和 FS-SUNRGBD 提供了标准化的评估协议，使不同方法间的公平比较成为可能。
• 即使结合当前最先进 2D 少样本检测技术（如 DeFRCN、FADI），Prototypical VoteNet 在 3D 领域仍大幅超越它们，表明其在 3D 域中的优越性。