[论文解读] Crime Mapping from Satellite Imagery via Deep Learning

Alameen Najjar, Shun’ichi Kaneko+1 more|arXiv (Cornell University)|Dec 17, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 14

一句话总结

本文提出一种深度学习方法，直接从原始卫星图像预测城市规模的犯罪率，使用卷积神经网络（CNN）对芝加哥超过一百万起犯罪事件报告进行训练。最佳模型在预测芝加哥的犯罪率方面达到了79%的准确率，并在丹佛（72.7%）和旧金山（70.8%）中表现出良好的泛化能力，证明了卫星图像中的视觉模式可作为犯罪率的可靠代理指标，而无需依赖传统的犯罪数据收集方式。

ABSTRACT

Ensuring urban safety is an essential part of developing sustainable cities. An urban safety map can assist cities to prevent future crimes. However, mapping is costly in terms of both time and money due to the need for manual data collection. On the other hand, satellite imagery is becoming increasingly abundant and accessible with higher resolution. Given the outstanding success deep learning has achieved in the field of computer vision and pattern recognition over the past 5 years, in this paper we attempt to investigate the use of deep learning to predict crime rate directly from raw satellite imagery. To this end, we have trained a deep Convolutional Neural Network on satellite images obtained from over one million crime-incident reports collected by the Chicago Police Department. The best performing model predicted crime rate from raw satellite imagery with an accuracy of 79%. To test their reusability, we used the learned Chicago models to predict for the cities of Denver and San Francisco city-scale maps indicating crime rate in three different levels. Compared to maps made from years' worth of data collected by the corresponding police departments, our maps have an accuracy of 72% and 70%, respectively.

研究动机与目标

• 探究深度学习是否能够直接从原始卫星图像预测犯罪率，从而绕过昂贵的人工数据收集过程。
• 探索利用公开、官方的犯罪事件报告作为卫星图像分类训练标签的可行性。
• 评估在某一城市数据上训练的深度学习模型向地理和人口特征不同的其他城市迁移预测犯罪率的能力。
• 建立一种基于可访问卫星数据的自动化、可扩展的城市安全制图概念验证，适用于数据匮乏地区。

提出的方法

• 在2001年至2016年间由芝加哥警察局收集的超过一百万起犯罪事件报告中提取的卫星图像上训练深度卷积神经网络（ConvNet）。
• 以未经处理的原始卫星图作为输入，以每个地理区域的犯罪事件数量作为训练目标标签。
• 采用多类别分类框架，预测三种犯罪率水平：低（蓝色）、中性（黄色）和高（红色）。
• 将芝加哥训练的最佳模型直接应用于丹佛和旧金山的卫星图像，无需微调，以预测其犯罪率地图。
• 通过将预测的犯罪率地图与基于多年警方报告数据生成的官方地图进行比较，评估模型性能。
• 利用高分辨率卫星图像的鸟瞰视角，提取与犯罪模式相关的视觉线索，如城市布局、植被和基础设施。

实验结果

研究问题

• RQ1 仅依靠卫星图像中的视觉特征，能否以高准确率预测犯罪率？
• RQ2 在某一城市数据上训练的深度学习模型，是否可有效应用于预测其他差异显著的城市的犯罪率？
• RQ3 在多大程度上可以利用公开、官方的犯罪报告，构建大规模、带标签的卫星图像犯罪预测训练数据集？
• RQ4 在原始卫星图像上训练的模型，对城市结构、人口密度和犯罪模式不同的城市，其泛化能力如何？

主要发现

• 最佳性能的深度学习模型在使用芝加哥的卫星图像进行训练和测试时，犯罪率预测准确率达到79%。
• 在未进行微调的情况下，该模型应用于丹佛时，与官方数据相比，犯罪率地图预测准确率达到72.7%。
• 对于旧金山，该模型仅使用卫星图像和芝加哥训练的模型，即实现了70.8%的犯罪率地图预测准确率。
• 结果证实，卫星图像中的视觉模式（如城市布局、植被和基础设施）可作为犯罪率的有效代理指标。
• 本研究证明，基于某一城市数据训练的深度模型可泛化至其他城市，即使这些城市在城市形态和发展水平上存在显著差异。
• 该方法为传统犯罪制图提供了一种可扩展、低成本的替代方案，尤其适用于数据匮乏地区。