[论文解读] A new weakly supervised approach for ALS point cloud semantic segmentation

Puzuo Wang, Wei Yao|arXiv (Cornell University)|Oct 4, 2021

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本文提出了一种轻量级、弱监督的深度学习框架，仅使用稀疏、不完整的标签对ALS点云进行语义分割。通过整合熵正则化、基于集成的一致性约束以及在线软伪标签化策略，该方法显著提升了分类准确率——在仅使用0.1%标注点的情况下，于ISPRS Vaihiken数据集上实现了83.0%的整体准确率和70.0%的平均F1分数，优于现有弱监督方法，并接近全监督性能。

ABSTRACT

While there are novel point cloud semantic segmentation schemes that continuously surpass state-of-the-art results, the success of learning an effective model usually rely on the availability of abundant labeled data. However, data annotation is a time-consuming and labor-intensive task, particularly for large-scale airborne laser scanning (ALS) point clouds involving multiple classes in urban areas. Thus, how to attain promising results while largely reducing labeling works become an essential issue. In this study, we propose a deep-learning based weakly supervised framework for semantic segmentation of ALS point clouds, exploiting potential information from unlabeled data subject to incomplete and sparse labels. Entropy regularization is introduced to penalize the class overlap in predictive probability. Additionally, a consistency constraint by minimizing the discrepancy distance between instant and ensemble predictions is designed to improve the robustness of predictions. Finally, we propose an online soft pseudo-labeling strategy to create extra supervisory sources in an efficient and nonpaprametric way. Extensive experimental analysis using three benchmark datasets demonstrates that in case of sparse point annotations, our proposed method significantly boosts the classification performance without compromising the computational efficiency. It outperforms current weakly supervised methods and achieves a comparable result against full supervision competitors. For the ISPRS 3D Labeling Vaihingen data, by using only 0.1% of labels, our method achieves an overall accuracy of 83.0% and an average F1 score of 70.0%, which have increased by 6.9% and 12.8% respectively, compared to model trained by sparse label information only.

研究动机与目标

• 减少大规模ALS点云语义分割中繁重的标注负担。
• 在仅使用稀疏、不完整标签的弱监督设置下，提升分类性能。
• 开发一种轻量级、高效的框架，可与现有点云分割深度学习网络兼容。
• 探索未标注数据和预测置信度在提升模型鲁棒性与泛化能力方面的潜力。

提出的方法

• 引入熵正则化，惩罚预测概率分布中的类别重叠，提升预测置信度。
• 应用一致性约束，最小化当前模型预测与多个训练步骤中集成预测之间的差异。
• 采用在线软伪标签化策略，从模型对未标注数据的预测中动态生成额外的监督信号。
• 设计轻量级框架，可轻松集成到现有点云分割网络中，无需架构重构。
• 采用双分支集成机制，在训练过程中稳定预测并降低不确定性。
• 通过联合优化稀疏标签上的监督损失和未标注数据的自监督损失，优化训练过程。

实验结果

研究问题

• RQ1 仅使用0.1%的标注数据，能否显著提升ALS点云语义分割的性能？
• RQ2 在弱监督设置下，熵正则化和一致性约束在降低预测不确定性方面的有效性如何？
• RQ3 在线软伪标签化在极低标注成本下，能在多大程度上增强模型泛化能力？
• RQ4 当仅提供稀疏标签时，该方法与全监督基线模型相比表现如何？

主要发现

• 在ISPRS Vaihingen数据集上，该方法仅使用0.1%的标签即实现了83.0%的整体准确率和70.0%的平均F1分数，相较于仅使用稀疏标签训练的基线模型，分别提升了6.9%和12.8%。
• 在ISPRS、LASDU和H3D三个基准数据集上，该方法优于所有现有弱监督方法。
• 即使仅使用0.1%的标签，该方法在性能上可与全监督模型相媲美，尤其在密集城市场景中表现突出。
• 将DualAttention集成到KPConv中并未带来显著性能提升，表明通用注意力模块在缺乏架构特定设计的情况下可能不足以发挥作用。
• 该方法保持了较高的计算效率，适用于大规模ALS点云的现实世界部署。
• 在ISPRS数据集中添加上下文信息后观察到性能下降，表明其在处理稀疏、低密度及高类别数场景时可能存在局限性。