[论文解读] Classification of Aerial Photogrammetric 3D Point Clouds

Carlos Becker, Nicolai Häni+3 more|arXiv (Cornell University)|May 23, 2017

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出了一种高度准确且高效的空中摄影测量三维点云语义分类方法，通过使用现成的机器学习技术整合几何与颜色特征。主要贡献在于引入颜色信息显著提升了分类准确率，尤其在道路和高植被类别上表现突出，整体准确率超过90%，并在台式机系统上实现了1000万点云数据的处理时间低于3分钟。

ABSTRACT

We present a powerful method to extract per-point semantic class labels from aerialphotogrammetry data. Labeling this kind of data is important for tasks such as environmental modelling, object classification and scene understanding. Unlike previous point cloud classification methods that rely exclusively on geometric features, we show that incorporating color information yields a significant increase in accuracy in detecting semantic classes. We test our classification method on three real-world photogrammetry datasets that were generated with Pix4Dmapper Pro, and with varying point densities. We show that off-the-shelf machine learning techniques coupled with our new features allow us to train highly accurate classifiers that generalize well to unseen data, processing point clouds containing 10 million points in less than 3 minutes on a desktop computer.

研究动机与目标

• 解决空中摄影测量点云缺乏公开可用且标注正确的训练数据的问题。
• 在复杂的真实世界空中数据集中，超越传统仅依赖几何特征的方法，提升语义分类的准确性。
• 开发一种计算高效的算法，适用于交互式工作流程，支持实时用户修正与增量学习。
• 在点云密度和环境条件各异的多样化数据集上，验证方法的泛化能力。
• 通过将该方法集成至Pix4Dmapper Pro，实现商业摄影测量软件中的实际部署。

提出的方法

• 从三维点云的局部邻域中提取几何特征，如局部法向量、曲率及主成分。
• 通过在局部空间邻域内（例如0.6米半径）计算颜色直方图和强度统计量，引入新型颜色特征。
• 将几何与颜色特征组合为每个点的统一特征向量，以增强表征能力。
• 在三个真实世界数据集的标注训练数据上，训练监督分类器——具体为梯度提升树（LGBM）和随机森林。
• 采用多分类框架，为每个点分配六种类别之一：地面、道路、建筑、高植被、汽车或人造物体。
• 采用两阶段评估：同数据集评估（使用相同数据集进行训练与测试）和跨数据集评估（迁移学习跨数据集测试），以评估泛化性能。

实验结果

研究问题

• RQ1 与仅使用几何特征相比，引入颜色信息在空中摄影测量点云语义分类中的准确率提升程度如何？
• RQ2 所提出的特征与分类器在点云密度和环境条件各异的真实世界数据集之间，泛化能力如何？
• RQ3 在标准台式计算机硬件上处理大规模点云（如1000万点）时，该方法的计算效率如何？
• RQ4 在该分类任务中，随机森林与梯度提升树哪种机器学习算法在准确率与鲁棒性方面表现更优？
• RQ5 该方法能否通过支持增量训练和用户修正预测结果，实现实际摄影测量工作流中的交互式工作流程？

主要发现

• 将颜色特征引入分类器后，准确率显著提升，与仅使用几何特征相比，整体分类误差最高降低50%。
• 梯度提升树（LGBM）分类器优于随机森林，尤其在复杂场景中表现更佳：在Ankeny数据集中，仅使用几何特征时错误率为41%，加入颜色特征后降低至24%。
• 该方法在标准台式计算机上处理高达1000万点的点云数据耗时不足3分钟，展现出极高的计算效率。
• 分类器在不同数据集间具有良好的泛化能力：当在两个数据集上训练并在第三个数据集上测试时，加入颜色特征后所有测试案例的错误率均降低20%至30%。
• 视觉结果表明，道路与植被分割效果显著改善，尤其在纹理复杂和阴影区域，仅依赖几何特征时往往失效。
• 初步实验采用自动上下文建模（利用邻近点的标签）显示出更平滑、更准确的预测结果，表明未来优化具有广阔前景。