[论文解读] Few-Shot Point Cloud Region Annotation with Human in the Loop

Siddhant Jain, Sowmya Munukutla+1 more|arXiv (Cornell University)|Jun 11, 2019

3D Shape Modeling and Analysis参考文献 12被引用 6

一句话总结

本文提出了一种人机协同的少样本点云区域标注框架，结合稀疏人类标注、几何区域生长以及预训练模型的迭代少样本微调，实现仅需极少人工交互即可获得高精度语义分割。与手动方法相比，该方法将标注工作量减少了80%，并能随数据集规模增大而高效扩展，适用于大规模3D数据集的高质量、多粒度标注。

ABSTRACT

We propose a point cloud annotation framework that employs human-in-loop learning to enable the creation of large point cloud datasets with per-point annotations. Sparse labels from a human annotator are iteratively propagated to generate a full segmentation of the network by fine-tuning a pre-trained model of an allied task via a few-shot learning paradigm. We show that the proposed framework significantly reduces the amount of human interaction needed in annotating point clouds, without sacrificing on the quality of the annotations. Our experiments also suggest the suitability of the framework in annotating large datasets by noting a reduction in human interaction as the number of full annotations completed by the system increases. Finally, we demonstrate the flexibility of the framework to support multiple different annotations of the same point cloud enabling the creation of datasets with different granularities of annotation.

研究动机与目标

• 为解决手动3D点云标注的高人力成本与低效率问题，特别是针对细粒度语义分割任务。
• 在保持大规模3D数据集标注质量的前提下，减轻人工标注负担。
• 通过支持单个对象的不同类别数量，实现灵活的多粒度分割。
• 构建可扩展的标注框架，使模型在处理多个点云时能够随着经验积累而持续改进。
• 通过迭代整合人类反馈与模型预测，最小化用户点击次数与认知负荷。

提出的方法

• 该框架从稀疏的人工标注开始——每种语义类别仅标注少量代表性点。
• 利用3D几何线索通过区域生长方法传播这些标签，生成初始的粗粒度分割结果。
• 使用新标注的点对预训练模型进行少样本学习微调，以提升预测准确性。
• 模型生成完整分割结果，随后由人工标注者通过稀疏反馈进行修正。
• 该模型微调、预测与人工修正的循环过程持续迭代直至收敛，从而显著减少对进一步人工输入的需求。
• 系统随时间自适应：随着更多点云被标注，模型对数据集特征的泛化能力增强，后续标注所需的人工点击数逐渐减少。

实验结果

研究问题

• RQ1 少样本学习方法是否能显著减少密集点云分割所需的用户交互次数？
• RQ2 与完全手动标注相比，所提框架在用户点击数与耗时方面的标注效率如何？
• RQ3 经过迭代训练后，模型在相同数据集中新点云上的泛化能力达到何种程度？
• RQ4 该框架是否能在不从零开始重新训练的情况下，支持同一张点云的多种分割粒度？
• RQ5 几何线索与人类反馈的结合在最小化监督条件下如何提升分割精度？

主要发现

• 与朴素的最近邻涂色方法相比，该框架将平均用户点击次数减少了80%。
• 随着每一张新点云的标注，标注效率持续提升，因为模型逐渐适应数据集特征，随时间推移所需的人工修正次数减少。
• 即使在噪声较多、真实世界重建的点云上，系统仍能实现高质量分割，这在Large Dataset of Object Scans上的定性结果中得到验证。
• 该框架支持灵活的多粒度分割——用户可为同一对象定义不同数量的类别，且支持网络最后一层的动态重新初始化。
• 后续点云的点击次数显著减少，表明系统具备良好的可扩展性，并能实现跨数据集的知识迁移。
• 尽管监督信号极少，该方法仍保持了高标注质量，证明了结合人类反馈、几何一致性与少样本学习的有效性。