[论文解读] Generating synthetic photogrammetric data for training deep learning based 3D point cloud segmentation models

Meida Chen, Andrew Feng+4 more|arXiv (Cornell University)|Aug 21, 2020

Remote Sensing and LiDAR Applications参考文献 9被引用 4

一句话总结

本文提出了一种全自动的流水线，用于生成合成摄影测量3D点云，以训练深度学习模型进行3D点云分割。通过模拟不同地貌和数据质量的无人机摄影测量，该方法生成大规模、逼真且完全标注的数据集，显著减少了对耗时的真实世界数据采集和标注的依赖，从而提升了模型在城市环境和混合植被等复杂场景中的泛化能力和性能。

ABSTRACT

At I/ITSEC 2019, the authors presented a fully-automated workflow to segment 3D photogrammetric point-clouds/meshes and extract object information, including individual tree locations and ground materials (Chen et al., 2019). The ultimate goal is to create realistic virtual environments and provide the necessary information for simulation. We tested the generalizability of the previously proposed framework using a database created under the U.S. Army's One World Terrain (OWT) project with a variety of landscapes (i.e., various buildings styles, types of vegetation, and urban density) and different data qualities (i.e., flight altitudes and overlap between images). Although the database is considerably larger than existing databases, it remains unknown whether deep-learning algorithms have truly achieved their full potential in terms of accuracy, as sizable data sets for training and validation are currently lacking. Obtaining large annotated 3D point-cloud databases is time-consuming and labor-intensive, not only from a data annotation perspective in which the data must be manually labeled by well-trained personnel, but also from a raw data collection and processing perspective. Furthermore, it is generally difficult for segmentation models to differentiate objects, such as buildings and tree masses, and these types of scenarios do not always exist in the collected data set. Thus, the objective of this study is to investigate using synthetic photogrammetric data to substitute real-world data in training deep-learning algorithms. We have investigated methods for generating synthetic UAV-based photogrammetric data to provide a sufficiently sized database for training a deep-learning algorithm with the ability to enlarge the data size for scenarios in which deep-learning models have difficulties.

研究动机与目标

• 解决用于训练3D分割深度学习模型的大规模、完全标注的3D点云数据集稀缺的问题。
• 降低人工标注真实世界3D摄影测量数据所带来的耗时和人力成本。
• 通过生成多样化场景（如不同建筑风格、植被类型和城市密度）来提升模型泛化能力，这些场景在真实数据集中可能代表性不足。
• 评估合成数据是否能有效替代真实数据用于训练深度学习模型进行3D点云分割。
• 为涉及复杂环境中的树木和建筑物等物体的挑战性分割任务提供可扩展的数据增强。

提出的方法

• 作者开发了一种基于摄影测量模拟的合成数据生成流水线，通过控制飞行高度、图像重叠率和相机角度等参数，模拟无人机飞行条件。
• 该方法使用具有逼真纹理和几何变化的3D场景模型，以模拟包括城市区域、森林和混合地形在内的多样化地貌。
• 通过合成图像集合模拟摄影测量重建，随后利用运动恢复结构（SfM）和多视角立体匹配（MVS）技术生成点云。
• 利用场景元数据和3D几何信息，自动为合成点云添加语义标签（例如：建筑物、树木、地面）。
• 该流水线通过调整场景构成、传感器参数和环境条件，支持可扩展的数据生成，以增加数据集的多样性。
• 生成的合成数据集用于预训练和微调用于3D语义分割的深度学习模型。

实验结果

研究问题

• RQ1 合成摄影测量数据能否有效替代真实世界数据用于训练3D点云分割的深度学习模型？
• RQ2 合成数据在多大程度上提升了模型在多样化地貌和数据质量下的泛化能力？
• RQ3 与在真实世界数据集上训练的模型相比，基于合成数据训练的模型在分割精度方面表现如何？
• RQ4 合成数据生成能否解决稀有或复杂城市与自然场景构型的数据稀缺问题？
• RQ5 合成数据需达到何种程度的真实感和多样性，才能在真实世界3D分割基准测试中实现高性能？

主要发现

• 合成数据生成流水线成功生成了大规模、逼真的3D点云，并附带精确的语义标注，可有效用于深度学习模型的训练。
• 在合成数据上训练的模型在真实世界测试集上达到了具有竞争力的分割精度，表现出强大的泛化能力。
• 该方法能够创建多样化训练场景，包括稀有或代表性不足的城市和植被构型，从而提升了模型的鲁棒性。
• 合成数据集具有可扩展性和可定制性，支持对飞行高度、图像重叠率和场景复杂度影响的受控实验。
• 该方法显著减少了对人工标注和真实世界数据采集的需求，大幅降低了数据准备时间和成本。
• 本研究证实，合成摄影测量数据可作为真实世界数据在训练3D点云分割模型中的可行且有效的替代方案。