[论文解读] How Can Large Language Models Understand Spatial-Temporal Data?

Lei Liu, Shuo Yu+3 more|arXiv (Cornell University)|Jan 25, 2024

Geographic Information Systems Studies被引用 6

一句话总结

STG-LLM 引入一个时空图标记器和适配器，使大语言模型在少量微调下预测时空数据，在多个基准上实现具有竞争力的结果。

ABSTRACT

While Large Language Models (LLMs) dominate tasks like natural language processing and computer vision, harnessing their power for spatial-temporal forecasting remains challenging. The disparity between sequential text and complex spatial-temporal data hinders this application. To address this issue, this paper introduces STG-LLM, an innovative approach empowering LLMs for spatial-temporal forecasting. We tackle the data mismatch by proposing: 1) STG-Tokenizer: This spatial-temporal graph tokenizer transforms intricate graph data into concise tokens capturing both spatial and temporal relationships; 2) STG-Adapter: This minimalistic adapter, consisting of linear encoding and decoding layers, bridges the gap between tokenized data and LLM comprehension. By fine-tuning only a small set of parameters, it can effectively grasp the semantics of tokens generated by STG-Tokenizer, while preserving the original natural language understanding capabilities of LLMs. Extensive experiments on diverse spatial-temporal benchmark datasets show that STG-LLM successfully unlocks LLM potential for spatial-temporal forecasting. Remarkably, our approach achieves competitive performance on par with dedicated SOTA methods.

研究动机与目标

• 激励在时空预测中使用 LLM，并解决图形时空数据与自然语言处理模型之间的数据不匹配问题。
• 提出 STG-Tokenizer 将时空图转换为适合 LLM 的类似标记的表示。
• 提出 STG-Adapter 以最小微调将标记语义与 LLM 桥接。
• 证明 STG-LLM 即使不使用大规模特定架构或大量特征工程，也能达到具有竞争力的性能。

提出的方法

• 定义一个时空图标记器 (STG-Tokenizer)，将每个节点视为包含其时间序列信息以及时间语义和可选嵌入（例如时间/日/周）的标记。
• 引入一个轻量级的时空图适配器 (STG-Adapter)，由线性编码器和解码器组成，将标记化数据映射到 LLM 的潜在空间并再回到预测。
• 将 prompts 与标记化的时空数据结合，并输入一个冻结的 LLM（GPT-2），同时仅对少量参数进行微调（STG-Tokenizer、STG-Adapter 和选择性嵌入）。
• 使用带有线性层和残差连接的解码路径，从 LLM 友好表示中产生下一个 P 步的预测。
• 微调位置嵌入和层归一化以更好地捕捉时空相关性，同时保持 LLM 权重冻结以保留 NL 能力。

实验结果

研究问题

• RQ1 在以标记化图节点而非原始序列或文本表示时，LLM 能否理解时空数据？
• RQ2 STG-Tokenizer 和 STG-Adapter 如何在最小参数更新下实现有效的时空预测？
• RQ3 相较于最先进baselines，STG-LLM 在不同的时空领域（交通、电力、金融）上的性能如何？
• RQ4 提示是否通过注入领域或时间上下文来提升 STG-LLM 的性能？

主要发现

数据集	STG-LLM MAE	STG-LLM RMSE	STG-LLM MAPE(%)
PEMS03	14.97	24.30	16.00
PEMS04	18.14	30.11	12.27
PEMS07	19.82	33.06	8.51
PEMS08	13.78	23.15	9.10

• STG-LLM 在交通基准上实现具有竞争力的性能，常常超过许多基线并在某些情况下接近 PDFormer。
• 在 Electricity 和 ExchangeRate 数据集中，STG-LLM 在没有显式图结构的情况下优于若干图基线。
• 少样本实验表明 STG-LLM 能在有限数据下适应新数据集，接近传统 DL 方法的表现。
• 提示能够提升 STG-LLM 的性能，表明 LLM 的知识可以引导时空预测。
• 消融实验显示 STG-Tokenizer 和 STG-Adapter 对性能至关重要，且为参数高效微调（约总参数的 ~1.7%）。
• 该方法在跨领域上表现出强泛化性，并证实在不需要大规模微调的情况下使用 LLMs 进行时空预测的可行性。