[论文解读] BIM Hyperreality: Data Synthesis Using BIM and Hyperrealistic Rendering for Deep Learning

Mohammad Alawadhi, Wei Qi Yan|arXiv (Cornell University)|May 10, 2021

3D Surveying and Cultural Heritage参考文献 23被引用 6

一句话总结

本文提出 BIM Hyperreality 方法，通过结合建筑信息模型（BIM）与超 realism 渲染，合成用于深度学习的逼真训练数据。利用基于 BIM 的语义标签和同一栋建筑的渲染图像，作者训练生成对抗网络（GAN）以识别真实照片中的建筑对象——在不使用真实训练图像的情况下实现了高精度，证明了合成数据在建筑视觉理解中的可行性。

ABSTRACT

Deep learning is expected to offer new opportunities and a new paradigm for the field of architecture. One such opportunity is teaching neural networks to visually understand architectural elements from the built environment. However, the availability of large training datasets is one of the biggest limitations of neural networks. Also, the vast majority of training data for visual recognition tasks is annotated by humans. In order to resolve this bottleneck, we present a concept of a hybrid system using both building information modeling (BIM) and hyperrealistic (photorealistic) rendering to synthesize datasets for training a neural network for building object recognition in photos. For generating our training dataset BIMrAI, we used an existing BIM model and a corresponding photo-realistically rendered model of the same building. We created methods for using renderings to train a deep learning model, trained a generative adversarial network (GAN) model using these methods, and tested the output model on real-world photos. For the specific case study presented in this paper, our results show that a neural network trained with synthetic data; i.e., photorealistic renderings and BIM-based semantic labels, can be used to identify building objects from photos without using photos in the training data. Future work can enhance the presented methods using available BIM models and renderings for more generalized mapping and description of photographed built environments.

研究动机与目标

• 解决建筑视觉识别任务中大规模、精确标注训练数据集稀缺的问题。
• 减少对人工标注真实世界图像以训练深度学习模型的依赖。
• 探索利用从 BIM 和超 realism 渲染生成的合成数据训练神经网络以识别建筑构件的可行性。
• 评估仅在合成数据上训练的模型是否能泛化到真实世界照片。
• 建立一个可扩展的流程，利用现有的 BIM 和渲染资源生成多样化、语义标注丰富的训练数据。

提出的方法

• 作者使用现有的 BIM 模型及其对应的同一栋建筑的逼真渲染图像作为数据合成的基础。
• 从 BIM 模型中提取的语义标签被映射到渲染图像中的对应像素，以创建完全标注的合成数据集（BIMrAI）。
• 在合成数据集上训练条件生成对抗网络（cGAN），以学习从图像特征到物体类别的映射。
• 训练过程同时利用渲染图像的视觉真实感和 BIM 的几何-语义精确性，以提升模型泛化能力。
• 在训练过程中未见过的真实世界照片上评估训练好的 GAN，测试其零样本泛化能力。
• 该方法实现了仅使用合成数据的端到端识别模型训练，训练阶段完全未使用真实图像。

实验结果

研究问题

• RQ1 仅在合成的逼真渲染图像和基于 BIM 的语义标签上训练的深度学习模型，能否识别真实世界照片中的建筑对象？
• RQ2 在未进行任何真实图像微调的情况下，基于合成数据训练的 GAN 在真实视觉输入上的泛化能力如何？
• RQ3 基于 BIM 的语义标注在多大程度上能提升合成训练数据中对象识别的准确性和鲁棒性？
• RQ4 是否可行利用 BIM 和渲染技术，创建一个可扩展、自动化的流程，用于生成大规模、语义丰富的建筑视觉任务训练数据？
• RQ5 在 BIM 和超 realism 渲染下生成的合成数据与真实数据训练的模型之间，性能差距有多大？

主要发现

• 仅在合成数据（由 BIM 和逼真渲染生成）上训练的 GAN 模型，在识别真实世界照片中的建筑对象方面达到了高精度。
• 该模型展现出强大的零样本泛化能力，在未接触任何真实训练数据的情况下，对真实图像仍表现良好。
• 将基于 BIM 的语义标签与超 realism 渲染相结合，显著提升了合成训练数据的质量和一致性。
• 该方法可在无需人工标注真实图像的情况下，创建大规模、多样化且精确标注的数据集。
• 结果验证了通过 BIM 和超 realism 渲染生成的合成数据可作为真实世界数据集在建筑对象识别中的可行替代方案。
• 该方法为未来在建筑和城市环境中自动化视觉任务数据合成的研究提供了可扩展的基础。