[论文解读] Label-Efficient Point Cloud Semantic Segmentation: An Active Learning Approach

Xian Shi, Xun Xu+4 more|arXiv (Cornell University)|Jan 18, 2021

3D Shape Modeling and Analysis参考文献 27被引用 18

一句话总结

本文提出了一种基于超点的主动学习框架，用于标签高效的3D点云语义分割，采用点击式标注成本度量方法，并设计了一种结合不确定性、多样性与形状级别一致性的新型获取函数。该方法仅使用总点击次数的0.8%即可达到全监督性能的95%以上，优于基于点级和实例级的选择策略。

ABSTRACT

Deep learning models are the state-of-the-art methods for semantic point cloud segmentation, the success of which relies on the availability of large-scale annotated datasets. However, it can be extremely time-consuming and prohibitively expensive to compile such datasets. In this work, we propose an active learning approach to maximize model performance given limited annotation budgets. We investigate the appropriate sample granularity for active selection under realistic annotation cost measurement (clicks), and demonstrate that super-point based selection allows for more efficient usage of the limited budget compared to point-level and instance-level selection. We further exploit local consistency constraints to boost the performance of the super-point based approach. We evaluate our methods on two benchmarking datasets (ShapeNet and S3DIS) and the results demonstrate that active learning is an effective strategy to address the high annotation costs in semantic point cloud segmentation.

研究动机与目标

• 为解决大规模3D点云语义分割数据集的高标注成本问题。
• 在真实的点击式成本度量下，研究有效的样本选择粒度——点级、超点级与实例级。
• 通过在获取函数中引入形状多样性项与局部一致性约束，提升在有限标注预算下的模型性能。
• 证明主动学习是减少3D语义分割标注工作量的一种可行且高效策略。

提出的方法

• 提出基于超点的选择方法，将几何上相似的点聚合成超点，以降低每标签的标注成本。
• 引入一种点击式标注成本度量，反映真实世界的标注工作量，替代传统的点数度量方法。
• 设计一种混合获取函数，结合不确定性、特征多样性与一种新型形状多样性项，以指导信息量丰富的样本选择。
• 应用局部一致性损失，强制每个超点内部的预测保持一致，利用未标注数据提升模型泛化能力。
• 采用带几何特征与不带几何特征的超点聚类方法，评估分组过程的鲁棒性与噪声抑制效果。
• 采用两阶段训练流程：先在弱标注数据上进行预训练，随后通过模型微调实现迭代式主动学习。

实验结果

研究问题

• RQ1 在真实的点击式成本度量下，基于超点的选择是否比点级或实例级选择更高效？
• RQ2 在有限标注预算下，将形状级别多样性引入获取函数对模型性能有何影响？
• RQ3 在超点内部施加局部一致性约束是否能利用未标注数据提升模型泛化能力？
• RQ4 每种形状的最优超点数量是多少，可在标注效率与分割精度之间实现最佳平衡？

主要发现

• 基于超点的选择在相同点击预算下性能效率最高，优于点级与实例级选择策略。
• 所提出的结合不确定性、多样性与形状级别项的获取函数，相比基线策略显著提升了模型准确率。
• 在超点聚类中引入几何特征可将噪声率从5.05%降低至4.82%（每形状50个超点），提升分组质量。
• 在10,000次点击预算下，将形状聚类为500个超点时mIoU达到最优（69.0%），优于50至1,000个超点的配置。
• 仅使用200,000次点击（全标注成本的0.8%），该方法在ShapeNet与S3DIS数据集上均实现了全监督基线mIoU的95%以上。
• 随机选择作为基线表现出人意料的优越性，在某些设置下甚至优于传统不确定性与多样性方法，凸显3D点云标注中的独特挑战。