[论文解读] Deep Learning for Real-Time Crime Forecasting and its Ternarization

Bao Wang, Penghang Yin+4 more|arXiv (Cornell University)|Nov 23, 2017

Anomaly Detection Techniques and Applications参考文献 28被引用 20

一句话总结

本文提出一种时空残差网络（ST-ResNet），用于在洛杉矶实现每小时尺度的实时犯罪预测，采用一种新颖的犯罪数据表示方法，通过时间累积聚合和空间超分辨率增强稀疏性。该模型在完全三值化后仍保持高精度，性能损失极小，显著降低内存和能耗，适用于资源受限设备的部署。

ABSTRACT

Real-time crime forecasting is important. However, accurate prediction of when and where the next crime will happen is difficult. No known physical model provides a reasonable approximation to such a complex system. Historical crime data are sparse in both space and time and the signal of interests is weak. In this work, we first present a proper representation of crime data. We then adapt the spatial temporal residual network on the well represented data to predict the distribution of crime in Los Angeles at the scale of hours in neighborhood-sized parcels. These experiments as well as comparisons with several existing approaches to prediction demonstrate the superiority of the proposed model in terms of accuracy. Finally, we present a ternarization technique to address the resource consumption issue for its deployment in real world. This work is an extension of our short conference proceeding paper [Wang et al, Arxiv 1707.03340].

研究动机与目标

• 解决在精细时空尺度下准确进行实时犯罪预测的挑战，特别是面对稀疏且随机的犯罪数据。
• 通过将犯罪强度建模为回归问题，克服现有基于分类模型的局限性，实现更细致的预测。
• 通过引入三值化技术，降低内存和计算成本，提升模型效率，实现在真实场景中的部署可行性，同时保持精度损失最小。
• 开发一种稳健的数据表示方法，通过时间与空间信号增强技术，提升稀疏犯罪数据中的微弱信号。

提出的方法

• 将犯罪数据表示为时空图像，其中每个像素编码某一小时内在特定区域网格中的犯罪数量。
• 在时间维上应用昼夜累积犯罪聚合，以增强可预测模式并减少噪声。
• 使用双线性插值实现空间超分辨率，提升空间粒度，捕捉局部犯罪动态。
• 适配ST-ResNet架构，利用残差学习建模犯罪模式中的复杂时空依赖关系。
• 实施一种三值权重量化方案，其中权重被约束为{-1, 0, +1}，并引入可学习缩放因子，以减少模型大小和能耗。
• 采用两阶段训练流程：首先使用ADAM优化全精度权重进行训练，然后通过投影函数将权重映射为三值，以保持性能。

实验结果

研究问题

• RQ1 尽管存在稀疏且随机的犯罪数据，深度学习模型是否能有效在微观地理区域实现每小时尺度的犯罪强度预测？
• RQ2 所提出的结合时间累积聚合与空间超分辨率的数据表示方法，相较于原始犯罪数据，如何显著提升预测精度？
• RQ3 ST-ResNet权重的三值化在多大程度上减少了模型大小和推理成本，同时保持预测精度？
• RQ4 基于回归的ST-ResNet模型相较于基于分类的方法，在捕捉犯罪事件真实分布方面表现如何？
• RQ5 通过量化技术，该模型是否能有效部署于计算资源有限的移动或边缘设备？

主要发现

• 所提出的ST-ResNet模型在全精度版本上实现了0.207的测试均方根误差（RMSE），表明其在每小时尺度犯罪强度预测中具有高精度。
• 完全三值化的ST-ResNet模型仅造成轻微性能下降，测试RMSE为0.242，表明在32倍内存减少的情况下，精度损失极小。
• 三值化通过将32位浮点权重替换为1位三值权重和单一缩放因子，显著减小模型大小并加速推理过程。
• 时间累积聚合与空间超分辨率的结合显著增强了稀疏犯罪数据中的信号强度，提升了模型泛化能力。
• 基于回归的方法优于二值分类模型，能够捕捉犯罪数量的完整分布，而不仅限于存在/不存在的判断。
• 该模型具备可扩展性，适用于执法机构的实时部署，可提供可操作的预测结果，支持主动巡逻规划。