[论文解读] Deep Learning from Parametrically Generated Virtual Buildings for Real-World Object Recognition

Mohammad Alawadhi, Wei Yan|arXiv (Cornell University)|Jan 3, 2023

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出仅使用BIM模型生成的逼真、参数化虚拟建筑训练深度神经网络，采用BIMGenE框架。该方法在真实世界建筑照片上实现了强大的泛化能力与精确的语义分割，即使面对未见过的建筑结构亦表现优异，证明了合成数据在真实世界建筑AI任务中的可行性。

ABSTRACT

We study the use of parametric building information modeling (BIM) to automatically generate training data for artificial neural networks (ANNs) to recognize building objects in photos. Teaching artificial intelligence (AI) machines to detect building objects in images is the foundation toward AI-assisted semantic 3D reconstruction of existing buildings. However, there exists the challenge of acquiring training data which is typically human-annotated, that is, unless a computer machine can generate high-quality data to train itself for a certain task. In that vein, we trained ANNs solely on realistic computer-generated images of 3D BIM models which were parametrically and automatically generated using the BIMGenE program. The ANN training result demonstrated generalizability and good semantic segmentation on a test case as well as arbitrary photos of buildings that are outside the range of the training data, which is significant for the future of training AI with generated data for solving real-world architectural problems.

研究动机与目标

• 解决真实世界图像中建筑物体识别标注训练数据稀缺的问题。
• 探索合成的、参数化生成的3D建筑模型是否能有效训练深度神经网络以应用于真实世界场景。
• 评估仅在合成数据上训练的模型在多样化真实世界建筑照片上的泛化能力，包括训练分布外的结构。
• 建立一个可扩展、自动化的管道，用于生成建筑与施工领域AI训练的高质量数据。

提出的方法

• 利用BIMGenE工具自动生成具有几何、材料与布局可控变化的多样化参数化3D建筑模型。
• 使用逼真渲染技术从3D BIM模型生成逼真的RGB图像及对应的语义分割掩码。
• 使用标准语义分割损失函数，在合成数据集上训练卷积神经网络（CNN）。
• 通过参数化生成训练分布的多样性，隐式应用数据增强与领域自适应策略。
• 在训练过程中未见过的真实世界建筑照片上评估训练好的模型，包括分布外的建筑结构。

实验结果

研究问题

• RQ1 仅在合成的、参数化生成的虚拟建筑上训练的深度神经网络，能否在真实世界图像中实现准确的物体识别？
• RQ2 该模型在风格、结构和外观与训练数据不同的真实世界建筑照片上的泛化能力如何？
• RQ3 参数化BIM生成在多大程度上可以替代或减少对人工标注的真实世界数据集的依赖，用于训练建筑视觉任务中的AI？
• RQ4 合成数据的多样性与真实感对模型在真实场景中泛化能力与性能的影响如何？

主要发现

• 该模型在真实世界建筑照片上实现了强大的语义分割性能，即使对于训练数据中未出现的建筑结构亦表现优异，表明其具备极强的泛化能力。
• 利用参数化生成的虚拟建筑，实现了大规模、多样化且完全标注的训练数据集的构建，无需人工标注。
• 该模型对建筑风格、光照与视角的变化表现出鲁棒性，表明从合成数据中实现了有效的领域泛化。
• 结果验证了，来自参数化BIM模型的高保真合成数据可作为真实世界标注数据的可行替代方案，用于训练建筑计算机视觉中的AI模型。