[论文解读] Jane Jacobs in the Sky: Predicting Urban Vitality with Open Satellite Data

Sanja Šćepanović, Sagar Joglekar+2 more|arXiv (Cornell University)|Jan 28, 2021

Impact of Light on Environment and Health参考文献 51被引用 4

一句话总结

本文提出了一种深度学习框架，利用公开的哨兵-2卫星影像，通过自动提取与简·雅各布斯提出的都市活力四大生成因素（尤其是土地利用多样性与小街区规模）相关的视觉特征，来预测城市活力——即全天候的行人活动。该方法在六个意大利城市中平均解释了55%的活力方差，对未见过的城市（如佛罗伦萨，61%；米兰，50%）表现出较强的泛化能力，但在罗马表现下降，主要因其独特的城市形态。

ABSTRACT

The presence of people in an urban area throughout the day -- often called 'urban vitality' -- is one of the qualities world-class cities aspire to the most, yet it is one of the hardest to achieve. Back in the 1970s, Jane Jacobs theorized urban vitality and found that there are four conditions required for the promotion of life in cities: diversity of land use, small block sizes, the mix of economic activities, and concentration of people. To build proxies for those four conditions and ultimately test Jane Jacobs's theory at scale, researchers have had to collect both private and public data from a variety of sources, and that took decades. Here we propose the use of one single source of data, which happens to be publicly available: Sentinel-2 satellite imagery. In particular, since the first two conditions (diversity of land use and small block sizes) are visible to the naked eye from satellite imagery, we tested whether we could automatically extract them with a state-of-the-art deep-learning framework and whether, in the end, the extracted features could predict vitality. In six Italian cities for which we had call data records, we found that our framework is able to explain on average 55% of the variance in urban vitality extracted from those records.

研究动机与目标

• 测试是否能够仅从卫星影像中预测简·雅各布斯提出的都市活力四大生成因素——土地利用多样性、小街区规模、经济活动混合度以及人群聚集度。
• 开发一种可扩展、数据高效的方法，仅使用公开的哨兵-2卫星影像评估城市活力，避免依赖私有或多源数据。
• 评估从卫星图像中提取的视觉特征是否能够预测实际的城市活力，以手机通话记录作为代理指标。
• 评估模型在不同城市环境中的泛化能力，尤其是具有独特历史或文化城市形态的城市。
• 为城市规划者和政策制定者提供一种低成本、开源的框架，用于在数据匮乏地区（尤其是发展中国家）评估城市活力。

提出的方法

• 该框架通过将城市区域划分为小型图像块（称为‘imagelets’），处理哨兵-2卫星影像以捕捉局部城市形态。
• 采用先进的深度学习模型（基于ResNet）从每个imagelet中提取视觉特征，编码与城市形态相关的空间和光谱模式。
• 通过平均池化将这些局部特征聚合为区级特征向量，表示城市区的视觉特征。
• 通过在标注的城市区上使用监督学习，训练模型预测雅各布斯的两个生成因素的代理指标：土地利用多样性和街区尺寸。
• 模型的第二个分支直接从相同的特征向量预测城市活力，以通话详单记录（CDRs）作为真实标签。
• 通过五折交叉验证和“留一城市”验证评估模型性能，以测试其在城市间的泛化能力。

实验结果

研究问题

• RQ1 是否能够仅从哨兵-2卫星影像中提取的视觉特征，无需依赖私有或辅助数据，预测城市活力中视觉上最显著的两个生成因素——土地利用多样性和小街区规模？
• RQ2 仅基于卫星影像训练的深度学习模型，在多大程度上能够预测实际的城市活力，以手机通话数据为衡量标准？
• RQ3 该模型在未见过的城市中泛化能力如何，特别是那些具有独特历史、文化或城市形态特征的城市？
• RQ4 在某些城市（如罗马）中，限制模型性能的因素是什么？如何改进该模型以适应此类环境？
• RQ5 该方法能否作为传统、数据密集型城市活力评估的可扩展、开放且低成本的替代方案？

主要发现

• 在六个意大利城市中，模型通过卫星衍生特征预测城市活力时，平均解释了55%的方差（以调整后R²衡量）。
• 在‘留一城市’验证中，模型在佛罗伦萨达到R²为61%，在米兰达到50%，表明其在同地理和文化背景下的未见过城市中具有强泛化能力。
• 在罗马，性能显著下降，R²仅为25%，主要由于该城市独特的历史城市结构与训练中使用的现代城市形态存在显著差异。
• 研究证实，土地利用多样性和小街区规模——雅各布斯核心生成因素中的两个——可有效通过深度学习从卫星影像中推断。
• 模型的预测反映的是活力潜力而非实际人流量，因此可能无法捕捉短期干扰（如疫情封锁）的影响。
• 结果表明，未来改进可通过整合多模态数据（如社交媒体、移动出行数据）以及使用更高分辨率的卫星影像以获得更好的空间细节实现。