[論文レビュー] Spatial-Temporal Large Language Model for Traffic Prediction

Chenxi Liu, Sun Yang+5 more|arXiv (Cornell University)|Jan 18, 2024

Traffic Prediction and Management Techniques被引用数 10

ひとこと要約

ST-LLM は場所のタイムステップをトークンとして定義し、空間-時間の埋め込みを適用し、部分的に凍結されたアテンションを備えた LLM を用いて交通を予測し、通常の、few-shot、zero-shot のシナリオで高い性能を達成します。

ABSTRACT

Traffic prediction, an essential component for intelligent transportation systems, endeavours to use historical data to foresee future traffic features at specific locations. Although existing traffic prediction models often emphasize developing complex neural network structures, their accuracy has not improved. Recently, large language models have shown outstanding capabilities in time series analysis. Differing from existing models, LLMs progress mainly through parameter expansion and extensive pretraining while maintaining their fundamental structures. Motivated by these developments, we propose a Spatial-Temporal Large Language Model (ST-LLM) for traffic prediction. In the ST-LLM, we define timesteps at each location as tokens and design a spatial-temporal embedding to learn the spatial location and global temporal patterns of these tokens. Additionally, we integrate these embeddings by a fusion convolution to each token for a unified spatial-temporal representation. Furthermore, we innovate a partially frozen attention strategy to adapt the LLM to capture global spatial-temporal dependencies for traffic prediction. Comprehensive experiments on real traffic datasets offer evidence that ST-LLM is a powerful spatial-temporal learner that outperforms state-of-the-art models. Notably, the ST-LLM also exhibits robust performance in both few-shot and zero-shot prediction scenarios. The code is publicly available at https://github.com/ChenxiLiu-HNU/ST-LLM.

研究の動機と目的

• 大規模言語モデルを活用してグローバルな空間-時間依存性を捉え、交通予測を改善する動機づけ。
• 各位置のタイムステップをトークンとして再構成する空間-時間埋め込みとトークナイゼーション方式を導入。
• 事前学習済み知識を保持しつつ、LLM を交通データに適応させるための部分的に凍結されたアテンション（PFA）戦略を開発。
• ST-LLM が最先端モデルより高い精度を示し、few-shot および zero-shot シナリオでの頑健性を実証。

提案手法

• 交通データを R^{T x N x C} のテンソル X として定義。
• 空間-時間埋め込み層を介してP個の過去タイムステップをトークン埋め込みに符号化（PConv ベースのトークン埋め込み、 hour/day/week の位置エンコード、適応的空間埋め込み）。
• 埋め込みをフュージョン畳み込みで結合し R^{N x 3D} の E_F を形成。
• 埋め込みを部分的に凍結されたアテンション LLM で処理し、最初の F 層を凍結、最後の U のマルチヘッドアテンション層を凍結解除して H^L を R^{N x 3D} で生成。
• 回帰畳み込みを用いて次の S タイムステップを予測： Ŷ_S = RConv(H^{F+U})。
• 損失 L = ||Ŷ_S - Y_S|| + λ L_reg により学習。

実験結果

リサーチクエスチョン

• RQ1 ST-LLM は場所-時間をトークンとして扱うことで交通データの空間-時間依存性を効果的にモデル化できるか。
• RQ2 アテンション層を部分的に凍結することは、完全凍結または完全に調整可能な設定と比較して交通予測への適応を改善するか。
• RQ3 ST-LLM は異なる交通データセット間で few-shot および zero-shot 転移でどう機能するか。
• RQ4 空間-時間埋め込みとその融合が予測精度に与える影響は何か。
• RQ5 ST-LLM は現実世界データセットで最先端の GNN/アテンションベースモデルと比較してどうか。

主な発見

• ST-LLM は NYC タクシーおよび CHBike データセットで、複数の交通予測シナリオにおいて最先端モデルを上回る。
• ST-LLM は DCRNN、STGCN、ASTGCN、GMAN、GATGPT、GCNGPT、LLAMA2 を含むベースラインよりも MAE/MAPE/RMSE/WAPE が低い。
• 部分的に凍結されたアテンション（PFA）は、凍結済み、完全に調整済み、他のベースラインよりも優れた性能を示す。
• ST-LLM は few-shot および zero-shot 予測で頑健性を示し、強力なクロスドメイン転移能力を持つ。
• アブレーション研究は、LLM や空間-時間埋め込みを削除すると性能が大幅に低下することを示し、それらの重要性を強調。
• 推論時の分析は、ST-LLM がいくつかの LLM ベースラインと比較して速度と精度のバランスが良いことを示す。