[论文解读] Urban Mosaic: Visual Exploration of Streetscapes Using Large-Scale Image Data

Fábio Miranda, Maryam Hosseini+4 more|arXiv (Cornell University)|Aug 31, 2020

Land Use and Ecosystem Services参考文献 67被引用 6

一句话总结

Urban Mosaic 是一款视觉分析工具，使城市规划师和设计师能够利用一年内采集的 770 万张街景图像的密集数据集，探索纽约市的城市肌理。通过结合基于计算机视觉的图像相似性搜索、LSH 索引以及与时空城市数据的集成，该工具支持在人类尺度上对邻里区域进行高效视觉比较，并对城市变化进行时间序列分析。

ABSTRACT

Urban planning is increasingly data driven, yet the challenge of designing with data at a city scale and remaining sensitive to the impact at a human scale is as important today as it was for Jane Jacobs. We address this challenge with Urban Mosaic,a tool for exploring the urban fabric through a spatially and temporally dense data set of 7.7 million street-level images from New York City, captured over the period of a year. Working in collaboration with professional practitioners, we use Urban Mosaic to investigate questions of accessibility and mobility, and preservation and retrofitting. In doing so, we demonstrate how tools such as this might provide a bridge between the city and the street, by supporting activities such as visual comparison of geographically distant neighborhoods,and temporal analysis of unfolding urban development.

研究动机与目标

• 解决在保持对宜居性和可达性等人类尺度影响敏感性的同时，分析城市尺度城市变化的挑战。
• 克服现有工具（如 Google Street View）在时间覆盖稀疏性和人工检查方面的局限性。
• 通过自动化、可扩展且交互式的视觉探索，支持城市规划师和设计师对大规模街景图像数据的分析。
• 整合多样化的时间-空间城市数据（例如土地利用分区、犯罪率、天气等），以丰富视觉分析并支持基于证据的决策制定。
• 通过数据驱动、以视觉为依据的探索，弥合宏观尺度城市规划与微观尺度人类体验之间的差距。

提出的方法

• 利用车载摄像头在 2016 年 4 月至 2017 年 4 月期间采集的曼哈顿和布鲁克林地区的 770 万张街景图像数据集。
• 采用计算机视觉技术从图像中提取视觉特征，实现基于内容的图像相似性搜索与聚类。
• 使用局部敏感哈希（LSH）对图像特征进行索引，降低内存占用，并实现快速查询响应时间，支持交互式探索。
• 支持基于地理位置和时间的图像时空选择与聚合，实现跨区域和跨时间的视觉比较。
• 集成外部城市数据源（例如人口普查、犯罪数据、房产价值、噪音投诉等），用于过滤或上下文化图像查询。
• 通过与城市规划师、建筑师和无障碍专家的合作开发，结合形成性评估和需求调研，融入用户需求。

实验结果

研究问题

• RQ1 如何利用大规模、时间密集的街景图像数据，在人类尺度上支持对城市肌理的视觉探索？
• RQ2 自动化视觉搜索与聚类在减少虚拟城市环境审计所需时间和精力方面发挥什么作用？
• RQ3 如何通过集成时空城市数据来增强视觉分析在城市规划中的可解释性与实用性？
• RQ4 视觉分析工具（如 Urban Mosaic）在识别和评估城市设计变化（如盲道安装）方面有哪些优势？
• RQ5 此类工具如何支持从业者优先安排实地勘察，并推动数据驱动的城市设计决策？

主要发现

• Urban Mosaic 通过自动化图像相似性搜索，实现了对地理上相距遥远的邻里区域的高效视觉比较，减少了对人工浏览街景图像的依赖。
• 该系统支持高时间粒度，使用户能够以视觉精度追踪城市特征（如盲道安装）随时间的变化。
• 外部数据（如土地利用分区、犯罪率、房产价值）的集成增强了视觉查询能力，支持情境感知的城市状况探索。
• 来自 Kohn Pedersen Fox、Draw Brooklyn 和纽约大学的从业者表示，该工具可显著改变城市规划工作流程，实现虚拟审计与选址的高效化。
• 基于 LSH 的索引方法显著降低了内存使用量，并实现了快速响应时间，使对 TB 级图像数据的交互式探索成为可能。
• 案例研究证明，Urban Mosaic 支持实际的城市设计任务，如评估城市肌理的保护状况，以及识别老年人群的无障碍通行隐患。