[论文解读] GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation

Yakun Chen, Xianzhi Wang+1 more|arXiv (Cornell University)|Nov 24, 2023

Human Mobility and Location-Based Analysis被引用 6

一句话总结

GATGPT 提出了一种新颖的框架，将预训练的大规模语言模型（LLMs）与图注意力网络（GAT）相结合，用于时空数据插补，利用 LLM 的时间表征学习能力以及 GAT 的空间依赖建模能力。该方法在三个真实世界数据集上实现了最先进性能，展现出在处理缺失多变量时间序列数据时强大的泛化能力和鲁棒性。

ABSTRACT

The analysis of spatiotemporal data is increasingly utilized across diverse domains, including transportation, healthcare, and meteorology. In real-world settings, such data often contain missing elements due to issues like sensor malfunctions and data transmission errors. The objective of spatiotemporal imputation is to estimate these missing values by understanding the inherent spatial and temporal relationships in the observed multivariate time series. Traditionally, spatiotemporal imputation has relied on specific, intricate architectures designed for this purpose, which suffer from limited applicability and high computational complexity. In contrast, our approach integrates pre-trained large language models (LLMs) into spatiotemporal imputation, introducing a groundbreaking framework, GATGPT. This framework merges a graph attention mechanism with LLMs. We maintain most of the LLM parameters unchanged to leverage existing knowledge for learning temporal patterns, while fine-tuning the upper layers tailored to various applications. The graph attention component enhances the LLM's ability to understand spatial relationships. Through tests on three distinct real-world datasets, our innovative approach demonstrates comparable results to established deep learning benchmarks.

研究动机与目标

• 解决来自交通、医疗和气象等领域多变量时空时间序列数据中缺失值的挑战。
• 克服传统插补方法依赖平稳性或时间均匀性等强假设的局限性。
• 探索预训练大规模语言模型（LLMs）在捕捉时间序列数据中复杂时间依赖关系方面的潜力。
• 通过专用的图注意力机制为 LLM 增强空间建模能力，以提升时空表征能力。
• 开发一种可泛化、可适应的框架，在微调下游插补任务时保持 LLM 的预训练知识。

提出的方法

• 该框架结合一个预训练的 LLM 模块，用于从多变量时间序列中学习时间模式，同时保留其大部分参数以利用已有知识。
• 引入图注意力网络（GAT）模块，用于建模多个时间序列节点之间的空间依赖关系，捕捉复杂的空间关系。
• 将 GAT 模块与 LLM 编码器集成，通过注意力机制实现时空表征的联合学习。
• 在下游插补任务上对模型进行微调，仅更新顶层参数以适应特定数据集和应用场景。
• 框架在预训练阶段采用掩码自编码目标，以重建缺失值，从而实现少样本和零样本泛化能力。
• 架构设计为模块化，可在不重新训练整个 LLM 的情况下，轻松适配多种时空数据集。

实验结果

研究问题

• RQ1 尽管原始设计用于自然语言处理，预训练大规模语言模型能否被有效适配用于时空插补任务？
• RQ2 如何将图注意力机制与 LLM 结合，以建模多变量时间序列中的空间依赖关系？
• RQ3 将 LLM 与 GAT 结合是否能提升插补性能，相较于专用深度学习模型或经典统计方法？
• RQ4 LLM 的规模和深度对插补准确率和计算效率有何影响？
• RQ5 该框架能否在具有不同时空结构和缺失数据模式的真实世界数据集之间实现泛化？

主要发现

• 在三个真实世界数据集（AQI-36、PEMS-BAY 和 METR-LA）上，GATGPT 的性能与最先进模型 GRIN 相当。
• 在 AQI-36 数据集上，GATGPT 在 MAE 和 MSE 两项指标上均优于所有基线模型，排名第一。
• 在 PEMS-BAY 数据集上，GATGPT 在插补准确性方面位列第二，展现出强大的鲁棒性。
• 在 METR-LA 数据集上，GATGPT 取得第三名的性能，表明其在不同类型数据中均具有一致的有效性。
• 敏感性分析显示，模型深度与误差之间存在非线性关系，6 层时性能最佳，表明模型容量与泛化能力之间存在权衡。
• 将模型维度从 768 提升至 1600 显著改善性能，尤其在 768 到 1024 之间提升明显，但超过 1280 后收益递减，表明存在收益递减点。