[论文解读] Cross-City Transfer Learning for Deep Spatio-Temporal Prediction

Leye Wang, Geng Xu+3 more|arXiv (Cornell University)|Feb 1, 2018

Traffic Prediction and Management Techniques参考文献 12被引用 20

一句话总结

本文提出 RegionTrans，一种用于深度时空预测的新型跨城市迁移学习框架，通过匹配具有相似时空模式的跨城市区域，实现从数据丰富的源城市向数据稀缺的目标城市的知识迁移。通过利用 1×1 Conv2D 层提取区域级表征，并最小化匹配区域之间的表征差异，与最先进微调方法相比，RegionTrans 将预测误差降低了高达 10.7%，尤其在目标数据有限时表现更优。

ABSTRACT

Spatio-temporal prediction is a key type of tasks in urban computing, e.g., traffic flow and air quality. Adequate data is usually a prerequisite, especially when deep learning is adopted. However, the development levels of different cities are unbalanced, and still many cities suffer from data scarcity. To address the problem, we propose a novel cross-city transfer learning method for deep spatio-temporal prediction tasks, called RegionTrans. RegionTrans aims to effectively transfer knowledge from a data-rich source city to a data-scarce target city. More specifically, we first learn an inter-city region matching function to match each target city region to a similar source city region. A neural network is designed to effectively extract region-level representation for spatio-temporal prediction. Finally, an optimization algorithm is proposed to transfer learned features from the source city to the target city with the region matching function. Using citywide crowd flow prediction as a demonstration experiment, we verify the effectiveness of RegionTrans. Results show that RegionTrans can outperform the state-of-the-art fine-tuning deep spatio-temporal prediction models by reducing up to 10.7% prediction error.

研究动机与目标

• 为解决城市计算中时空预测的数据稀缺问题，通过从数据丰富的城市向数据稀缺的城市迁移知识。
• 开发一种以区域为单位而非全城范围的深度迁移学习框架，以提高迁移效率和准确性。
• 通过识别具有相似时空动态的跨城市区域对，最小化在不相似城市之间迁移时的负迁移影响。
• 通过真实应用场景——人流流量预测，证明 RegionTrans 的有效性。

提出的方法

• 设计一种区域匹配函数，利用短期服务数据或辅助数据，将每个目标城市区域与相似的源城市区域关联。
• 构建一个包含堆叠 ConvLSTM 层的深度时空模型，以捕捉数据中的时空依赖性。
• 引入 1×1 Conv2D 层作为关键组件，用于提取和编码区域级潜在表征。
• 在训练过程中，使用优化算法最小化跨城市匹配区域对之间学习到的表征差异。
• 支持仅使用服务数据的匹配（S-Match）和结合辅助数据的增强匹配（A-Match），以提升区域相似性估计质量。
• 通过利用匹配区域表征从源城市蒸馏知识，对目标城市模型进行微调，完成迁移学习。

实验结果

研究问题

• RQ1 当目标城市数据有限时，跨城市区域级匹配能否在深度时空预测中有效实现知识迁移？
• RQ2 在数据稀缺条件下，RegionTrans 与微调后的最先进模型相比，预测准确率如何？
• RQ3 与仅依赖短期服务数据相比，使用辅助数据是否能提升区域匹配质量，并进而提高迁移性能？
• RQ4 当在不相似城市（如 D.C. 和 NYC）之间迁移知识时，RegionTrans 是否能避免负迁移？
• RQ5 RegionTrans 对表征差异损失的超参数权重敏感吗？最优设置是什么？

主要发现

• 与微调后的最先进模型相比，RegionTrans 将预测误差降低了高达 10.7%，在数据稀缺环境下展现出显著性能提升。
• 当目标城市数据历史极短（如仅有一天空流记录）时，性能提升最为明显。
• 使用辅助数据进行区域匹配的 RegionTrans (A-Match) 表现优于仅依赖短期服务数据的 RegionTrans (S-Match)，表明更优的匹配可增强迁移性能。
• 即使在从 D.C. 向不相似城市 NYC 进行迁移时，RegionTrans 也始终优于所有基线模型，而微调模型则遭受负迁移影响。
• 将表征差异损失权重 (w) 设置为零会导致性能显著下降——误差最高上升 5%，证实了跨城市区域匹配在知识迁移中的关键作用。
• 该框架计算效率高，1–3 天目标数据的迁移学习仅需 50–100 分钟，适合实际部署。