[论文解读] Learning from Multiple Cities: A Meta-Learning Approach for Spatial-Temporal Prediction

Huaxiu Yao, Yiding Liu+3 more|arXiv (Cornell University)|Jan 24, 2019

Traffic Prediction and Management Techniques参考文献 46被引用 8

一句话总结

本文提出 MetaST，一种元学习框架，通过将多个数据丰富的城市中的时空知识迁移至数据稀缺的目标城市，以提升预测性能。通过学习一个泛化能力强的模型初始化，并利用基于模式的记忆机制来提炼长期周期性特征，MetaST 在交通和水质预测任务中均达到最先进性能，相较基线模型平均提升 7.7%。

ABSTRACT

Spatial-temporal prediction is a fundamental problem for constructing smart city, which is useful for tasks such as traffic control, taxi dispatching, and environmental policy making. Due to data collection mechanism, it is common to see data collection with unbalanced spatial distributions. For example, some cities may release taxi data for multiple years while others only release a few days of data; some regions may have constant water quality data monitored by sensors whereas some regions only have a small collection of water samples. In this paper, we tackle the problem of spatial-temporal prediction for the cities with only a short period of data collection. We aim to utilize the long-period data from other cities via transfer learning. Different from previous studies that transfer knowledge from one single source city to a target city, we are the first to leverage information from multiple cities to increase the stability of transfer. Specifically, our proposed model is designed as a spatial-temporal network with a meta-learning paradigm. The meta-learning paradigm learns a well-generalized initialization of the spatial-temporal network, which can be effectively adapted to target cities. In addition, a pattern-based spatial-temporal memory is designed to distill long-term temporal information (i.e., periodicity). We conduct extensive experiments on two tasks: traffic (taxi and bike) prediction and water quality prediction. The experiments demonstrate the effectiveness of our proposed model over several competitive baseline models.

研究动机与目标

• 通过利用多个数据丰富的源城市的知识，解决数据有限城市中的时空预测问题。
• 通过从多个多样化城市而非单一源城市迁移知识，提升模型的泛化能力和适应稳定性。
• 捕捉并迁移源城市中的长期周期性模式（例如每日/每周循环），以增强数据跨度较短的目标城市的预测能力。
• 开发一种元学习框架，实现时空模型对新数据稀缺目标城市的快速、高效适应。

提出的方法

• 设计了一个时空神经网络（ST-net），采用局部卷积神经网络提取空间特征，使用长短期记忆网络建模时间依赖性。
• 应用元学习以学习 ST-net 的良好泛化初始化，从而实现仅用少量样本即可快速适应新目标城市。
• 引入一种全局基于模式的时空记忆机制，从多个源城市中提炼长期周期性模式（例如月度或周度循环）。
• 通过在时间模式的 DTW 距离上进行 K-means 聚类，学习记忆表征，捕捉具有区域特性的周期性行为。
• 采用联合损失函数，结合重建损失与元学习损失，并通过超参数 γ 平衡适应与记忆学习之间的权衡。
• 在多个源城市上进行模型训练，并通过少样本微调在目标城市上进行适应，即使目标数据有限，也能实现有效迁移。

实验结果

研究问题

• RQ1 与单源迁移相比，从多个源城市迁移知识是否能提升数据稀缺目标城市的预测性能？
• RQ2 元学习框架如何实现对新目标城市中数据有限的时空模型的快速且稳定的适应？
• RQ3 在多源城市中，长期周期性模式（例如周或月循环）在多大程度上可被有效捕捉并迁移，以提升目标城市的预测性能？
• RQ4 引入基于模式的记忆机制以捕捉周期性特征，是否能提升模型泛化能力与性能，相较标准迁移学习基线模型？

主要发现

• 在水质预测任务中，MetaST 相较所有基线模型平均实现 7.7% 的相对性能提升，尤其在数据稀缺区域表现显著。
• 该模型优于非迁移学习与单源迁移学习基线模型，证明多城市知识迁移在提升稳定性与泛化能力方面的优势。
• 基于模式的时空记忆机制能有效捕捉并迁移长期周期性模式，如月度 pH 周期，这对准确的环境预测至关重要。
• 超参数分析表明，当记忆维度 d=4 且权衡因子 γ=10⁻⁴ 时性能最优，表明损失加权平衡与合适的记忆容量至关重要。
• 在水质预测任务中，MetaST 显著优于 MAML 与 Multi-FT 基线模型，表明结构化记忆与多源迁移比通用初始化或简单数据混合更有效。
• 模型在多种时空模式下均表现出良好泛化能力，表现为在多个目标城市与预测任务中均保持一致的性能提升。