[论文解读] GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks

Zhonghang Li, Lianghao Xia+2 more|arXiv (Cornell University)|Nov 7, 2023

Traffic Prediction and Management Techniques被引用 14

一句话总结

GPT-ST 引入一个时空预训练框架，利用带层次超图的掩码自编码和自适应掩码，以提升下游时空预测模型。

ABSTRACT

In recent years, there has been a rapid development of spatio-temporal prediction techniques in response to the increasing demands of traffic management and travel planning. While advanced end-to-end models have achieved notable success in improving predictive performance, their integration and expansion pose significant challenges. This work aims to address these challenges by introducing a spatio-temporal pre-training framework that seamlessly integrates with downstream baselines and enhances their performance. The framework is built upon two key designs: (i) We propose a spatio-temporal mask autoencoder as a pre-training model for learning spatio-temporal dependencies. The model incorporates customized parameter learners and hierarchical spatial pattern encoding networks. These modules are specifically designed to capture spatio-temporal customized representations and intra- and inter-cluster region semantic relationships, which have often been neglected in existing approaches. (ii) We introduce an adaptive mask strategy as part of the pre-training mechanism. This strategy guides the mask autoencoder in learning robust spatio-temporal representations and facilitates the modeling of different relationships, ranging from intra-cluster to inter-cluster, in an easy-to-hard training manner. Extensive experiments conducted on representative benchmarks demonstrate the effectiveness of our proposed method. We have made our model implementation publicly available at https://github.com/HKUDS/GPT-ST.

研究动机与目标

• 为下游预测任务激发稳健的时空表示学习。
• 使时间和空间表示可自定义，以捕捉簇内与簇间关系。
• 通过分层超图和基于胶囊的聚类来建模全球区域相似性。
• 通过将预训练与多样化的时空基线模型集成，推动端到端的改进。

提出的方法

• 通过 ST 表示函数 f 进行掩码自编码的预训练，以重构被掩码的时空数据。
• 使用参数学习器生成的时间和区域特定参数，对时间模式进行定制化编码。
• 使用超图胶囊聚类网络进行分层空间编码，以捕捉全球区域相似性。
• 通过高级超图进行簇间关系学习，以建模簇间动态。
• 面向簇的掩码策略，逐步掩码簇以促进簇内与簇间学习；KL 散度损失将学习到的簇信号与掩码预测对齐。

实验结果

研究问题

• RQ1 RQ1：GPT-ST 如何在不同数据集上提升下游时空预测基线？
• RQ2 RQ2：GPT-ST 中设计的模块（时间编码、分层空间编码、掩码）有多有效？
• RQ3 RQ3：学习到的全局区域簇及簇间迁移是否能被有意义地解释？
• RQ4 RQ4：GPT-ST 在预训练和下游任务中的效率如何？
• RQ5 RQ5：掩码比例的变化如何影响 GPT-ST 的性能？

主要发现

• GPT-ST 在多个时空数据集和模型上持续提升下游基线表现。
• 超图胶囊聚类和簇间学习对性能提升贡献显著，消融研究显示去除这些组件时降幅最大。
• 自适应簇感知掩码在促进簇内与簇间表示方面优于随机掩码及其他掩码策略。
• 与 STEP 和长期预训练基线相比，GPT-ST 的预训练策略在长期数据有限时尤为显著。
• 大多数提升出现在经典基线（例如 STGCN）上，而不是高度工程化的 SOTA 模型，这表明 GPT-ST 可以补充更简单的架构。