[论文解读] A machine learning method for the large-scale evaluation of urban visual environment

Lun Liu, Wang Hui+1 more|arXiv (Cornell University)|Aug 11, 2016

Impact of Light on Environment and Health参考文献 26被引用 9

一句话总结

本文提出了一种机器学习方法，利用街景图像和深度学习技术，实现对城市视觉质量的大规模自动评估，重点聚焦于立面视觉质量和街道立面连续性。该方法与752名路人的评分结果具有高度相关性（r = 0.78），展现出在大规模城市设计评估与规划应用中的巨大潜力。

ABSTRACT

Given the size of modern cities in the urbanising age, it is beyond the perceptual capacity of most people to develop a good knowledge about the beauty and ugliness of the city at every street corner. Correspondingly, for planners, it is also difficult to accurately answer questions like 'where are the worst-looking places in the city that regeneration should give first consideration', or 'in the fast urbanising cities, how is the city appearance changing', etc. To address this issue, we here present a computer vision method for the large-scale and automatic evaluation of the urban visual environment, by leveraging state-of-the-art machine learning techniques and the wide-coverage street view images. From the various factors that are at work, we choose two key features, the visual quality of street facade and the continuity of street wall, as the starting point of this line of analysis. In order to test the validity of this method, we further compare the machine ratings with ratings collected on site from 752 passers-by on fifty-six locations. We show that the machine learning model can produce a good estimation of people's real visual experience, and it holds much potential for various tasks in terms of urban design evaluation, culture identification, etc.

研究动机与目标

• 为解决在大规模快速城市化城市中手动评估城市视觉质量的挑战。
• 开发一种基于计算机视觉与机器学习的自动化、可扩展的城市美学评估方法。
• 识别显著影响城市外观感知的关键视觉特征——特别是立面质量与街道立面连续性。
• 在多样化的城市环境中，通过真实人类感知评分验证模型的准确性。
• 实现面向城市更新规划与文化身份分析的大规模、数据驱动的城市设计评估。

提出的方法

• 该方法使用大规模街景图像数据集训练的深度卷积神经网络（CNN），以预测视觉质量评分。
• 提取两个关键视觉特征：立面视觉质量（基于纹理、色彩与建筑和谐性）和街道立面连续性（衡量街道沿线的视觉一致性）。
• 采用多尺度特征提取策略，以捕捉城市场景中的局部与全局视觉模式。
• 通过在预训练ImageNet模型上的迁移学习对模型进行微调，以提升在城市视觉质量分类任务中的性能。
• 使用来自56个地点的752名路人的真人标注评分，对模型预测进行监督与验证。
• 最终模型输出一个综合视觉质量评分，综合反映立面质量与连续性，实现大规模城市评估。

实验结果

研究问题

• RQ1 能否利用街景图像，通过机器学习模型在大规模范围内准确预测人类对城市视觉质量的感知？
• RQ2 立面视觉质量与街道立面连续性在整体城市美学感知中分别起到何种作用？
• RQ3 该模型的预测结果与实地采集的真实人类评分之间的相关性达到何种程度？
• RQ4 该模型能否检测出大范围内城市区域的视觉退化或改善空间模式？
• RQ5 该方法在城市更新规划与文化身份制图中的可行性如何？

主要发现

• 机器学习模型与752名路人的评分结果相关性达到r = 0.78，表明其与人类视觉感知高度一致。
• 该模型成功识别出城市中视觉上不悦目的区域，从而支持有针对性的城市更新规划。
• 立面视觉质量与街道立面连续性被证实是决定整体城市视觉质量的最关键因素。
• 该方法在包括发达城市与快速城市化城市在内的多样化城市环境中均表现出稳健性能。
• 模型的预测结果具有一致性与可扩展性，可利用现有的街景数据对整个都市区域实现大规模评估。
• 结果表明，机器学习可作为城市设计研究与政策制定中人工视觉评估的可靠且成本效益高的替代方案。