[论文解读] Building Information Modeling and Classification by Visual Learning At A City Scale

Qian Yu, Chaofeng Wang+5 more|arXiv (Cornell University)|Oct 14, 2019

Remote-Sensing Image Classification参考文献 16被引用 19

一句话总结

该论文提出了一种名为BRAILS的深度学习框架，利用卫星图像和街景图像实现城市尺度的建筑信息模型（BIM）构建与薄弱层建筑分类。通过结合基于卷积神经网络（CNN）的视觉特征提取与一种空间模式发现工具（SURF），该方法实现了自动化、大规模的BIM创建，并以85.94%的平均准确率识别出地震易损的薄弱层建筑，展现出在灾害韧性应用中的强大潜力。

ABSTRACT

33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada. Corresponding author: Chaofeng Wang, [e-mail] In this paper, we provide two case studies to demonstrate how artificial intelligence can empower civil engineering. In the first case, a machine learning-assisted framework, BRAILS, is proposed for city-scale building information modeling. Building information modeling (BIM) is an efficient way of describing buildings, which is essential to architecture, engineering, and construction. Our proposed framework employs deep learning technique to extract visual information of buildings from satellite/street view images. Further, a novel machine learning (ML)-based statistical tool, SURF, is proposed to discover the spatial patterns in building metadata. <br> The second case focuses on the task of soft-story building classification. Soft-story buildings are a type of buildings prone to collapse during a moderate or severe earthquake. Hence, identifying and retrofitting such buildings is vital in the current earthquake preparedness efforts. For this task, we propose an automated deep learning-based procedure for identifying soft-story buildings from street view images at a regional scale. We also create a large-scale building image database and a semi-automated image labeling approach that effectively annotates new database entries. Through extensive computational experiments, we demonstrate the effectiveness of the proposed method.

研究动机与目标

• 开发一种可扩展的、基于机器学习的框架，用于在城市尺度上创建全面的建筑信息模型（BIM）数据库。
• 利用街景图像中的视觉特征识别薄弱层建筑——这类建筑在地震中结构上较为脆弱。
• 通过一种新型基于机器学习的工具SURF，利用空间模式弥补建筑元数据中的数据稀疏性问题。
• 创建一个大规模、半自动标注的建筑图像数据库，用于深度学习模型的训练与验证。
• 通过训练分类器生成薄弱层建筑分布图，实现大规模地震风险评估。

提出的方法

• 抓取公开的财产税记录，收集初始建筑元数据，包括楼层数、建造年份和建筑材料。
• 使用Google地理编码API为每栋建筑分配地理坐标（纬度/经度），以支持图像检索与空间分析。
• 利用在OpenStreetMap标注属性上微调过的预训练卷积神经网络（CNN），从卫星图像和街景图像中提取视觉特征。
• 实施一种新型基于机器学习的空间不确定性量化工具SURF，基于现有数据中的空间模式预测缺失的元数据值。
• 在包含25,340张建筑图像的半自动标注数据集上，使用交叉熵损失训练二分类器，其中ResNet50表现最佳。
• 应用类别激活映射（CAM）可视化并解释模型用于预测的图像区域，验证模型对相关建筑特征的关注度。

实验结果

研究问题

• RQ1 深度学习模型能否有效从视觉数据（卫星图像和街景图像）中提取建筑属性，以增强城市尺度的BIM数据库？
• RQ2 深度学习分类器在街景图像中识别薄弱层建筑的准确率如何？哪些CNN架构在此任务中表现最佳？
• RQ3 空间模式发现工具（SURF）在多大程度上能通过预测缺失元数据来提升BIM数据库的完整性和可靠性？
• RQ4 所提出的框架是否可推广至数据匮乏地区，还是其性能仅限于拥有高质量地理空间数据的数据丰富城市区域？
• RQ5 视觉注意力机制（通过CAM实现）是否与薄弱层建筑脆弱性相关的结构特征一致，从而证实模型的可解释性与可靠性？

主要发现

• BRAILS框架通过整合财产税记录中的元数据与从卫星图像和街景图像中提取的视觉特征，成功构建了城市尺度的BIM数据库。
• SURF工具通过建模空间模式，有效预测了缺失的建筑元数据，显著提升了数据库的完整性，且无需人工数据录入。
• 在测试的CNN架构中，ResNet50在薄弱层建筑分类任务中表现最佳，平均准确率达到85.94%，精确率为84.16%，召回率为82.80%，F1得分为83.47%。
• 类别激活映射（CAM）可视化结果表明，模型在预测时聚焦于建筑层面的特征，特别是结构要素，表明其对相关视觉线索的关注可靠。
• 该框架利用1,359张街景图像成功生成了奥克兰市薄弱层建筑分布图，展示了其在区域风险评估中的可扩展性。
• 尽管在数据丰富的区域表现优异，但由于OSM和Google地图中数据稀疏，该框架在低收入和中等收入国家的泛化能力仍有限。