[论文解读] Computer vision-based analysis of buildings and built environments: A systematic review of current approaches

Małgorzata B. Starzyńska, Robin Roussel+2 more|arXiv (Cornell University)|Aug 1, 2022

Urban Design and Spatial Analysis被引用 7

一句话总结

本篇系统综述分析了2011至2021年间88项关于建筑与建成环境的计算机视觉研究，识别出两大核心研究方向：自动化建筑图像分析任务，以及利用机器学习从视觉数据中挖掘新见解。研究发现，尽管多数研究集中于提升建筑数据集上算法的性能，但一种日益增长的趋势是通过数据整合与模式发现，利用计算机视觉生成新颖的设计与政策相关见解。

ABSTRACT

Analysing 88 sources published from 2011 to 2021, this paper presents a first systematic review of the computer vision-based analysis of buildings and the built environments to assess its value to architectural and urban design studies. Following a multi-stage selection process, the types of algorithms and data sources used are discussed in respect to architectural applications such as a building classification, detail classification, qualitative environmental analysis, building condition survey, and building value estimation. This reveals current research gaps and trends, and highlights two main categories of research aims. First, to use or optimise computer vision methods for architectural image data, which can then help automate time-consuming, labour-intensive, or complex tasks of visual analysis. Second, to explore the methodological benefits of machine learning approaches to investigate new questions about the built environment by finding patterns and relationships between visual, statistical, and qualitative data, which can overcome limitations of conventional manual analysis. The growing body of research offers new methods to architectural and design studies, with the paper identifying future challenges and directions of research.

研究动机与目标

• 通过2011至2021年期间88项来源的系统性文献回顾，评估计算机视觉在建筑与城市设计研究中应用的当前状态。
• 识别并分类基于计算机视觉的建成环境分析中的主要研究目标，区分算法优化与方法论创新。
• 评估计算机视觉在实现大规模、数据驱动的建筑与城市分析方面相较于传统人工方法的优劣势。
• 突出建筑研究中与数据质量、互操作性、可复现性以及视觉与非视觉数据源整合相关的研究空白。
• 通过提出加强计算机视觉在建筑与城市设计背景下的可靠性与实际应用性的研究方向，为未来跨学科研究提供指导。

提出的方法

• 遵循PRISMA指南，开展多阶段系统性文献回顾，从1,234项初始记录中筛选出88项相关研究。
• 根据研究目标对研究进行分类：64%的研究聚焦于在建筑图像数据集上测试或改进机器学习算法，36%的研究旨在利用计算机视觉回答新颖的建筑或城市设计问题。
• 分析数据来源（如街景图像、航空影像、能效证书、OpenStreetMap）、算法类型（如目标检测、分割、分类）以及应用领域（如建筑状况、价值估算、形态分析）。
• 评估视觉数据与非视觉数据（如人口统计、社会经济或环境统计数据）的整合，以评估方法论创新潜力。
• 识别出在众包和开放获取数据集中，数据质量、元数据准确性、GPS精度和标签可靠性方面存在的挑战。
• 提出共享评估框架，并强调实现过程与数据集共享的透明性，以提升可复现性与跨学科协作。

实验结果

研究问题

• RQ1 2011至2021年间，基于计算机视觉的建筑与建成环境分析中，主导的研究目标是什么？
• RQ2 当前的计算机视觉方法在多大程度上支持或改变了传统建筑与城市设计分析任务（如建筑分类或状况调查）？
• RQ3 机器学习技术在何种方式下能够揭示视觉、统计与定性数据中通过人工分析无法获取的新模式或关系？
• RQ4 哪些关键挑战（如数据互操作性、准确性与可复现性）阻碍了计算机视觉在建筑研究中的应用？
• RQ5 如何有意义地将视觉数据与非视觉数据（如人口普查、房产或环境数据）整合，以增强城市与建筑决策制定？

主要发现

• 64%的被评述研究聚焦于在建筑图像数据集上测试或改进机器学习算法，表明对方法论优化的强烈关注。
• 36%的研究通过探索视觉特征与社会空间或统计数据之间的关系，利用计算机视觉生成新颖见解，例如城市绅士化或房产价值估算。
• 现有图像数据集通常缺乏足够的上下文与元数据，GPS坐标与众包标签的准确性与可靠性不一致。
• 一个重大挑战在于视觉数据与其他数据类型之间的互操作性，特别是由于地理信息系统与行政数据库中对建成环境要素的分类方式不一致所致。
• 可复现性仍是主要关切，因许多研究缺乏透明的实现细节与公开的数据集，限制了验证与领域进展。
• 未来研究应优先整合视觉数据与非视觉数据（如人口普查、建筑年龄、社会经济指标），以实现更全面、具有政策相关性的城市与建筑设计分析。