[論文レビュー] How Can Large Language Models Understand Spatial-Temporal Data?

Lei Liu, Shuo Yu+3 more|arXiv (Cornell University)|Jan 25, 2024

Geographic Information Systems Studies被引用数 6

ひとこと要約

STG-LLMは、少量のファインチューニングでLLMsが時空間データを予測できるように、空間-時間グラフトークナイザーとアダプターを導入し、複数のベンチマークで競争力のある結果を達成する。

ABSTRACT

While Large Language Models (LLMs) dominate tasks like natural language processing and computer vision, harnessing their power for spatial-temporal forecasting remains challenging. The disparity between sequential text and complex spatial-temporal data hinders this application. To address this issue, this paper introduces STG-LLM, an innovative approach empowering LLMs for spatial-temporal forecasting. We tackle the data mismatch by proposing: 1) STG-Tokenizer: This spatial-temporal graph tokenizer transforms intricate graph data into concise tokens capturing both spatial and temporal relationships; 2) STG-Adapter: This minimalistic adapter, consisting of linear encoding and decoding layers, bridges the gap between tokenized data and LLM comprehension. By fine-tuning only a small set of parameters, it can effectively grasp the semantics of tokens generated by STG-Tokenizer, while preserving the original natural language understanding capabilities of LLMs. Extensive experiments on diverse spatial-temporal benchmark datasets show that STG-LLM successfully unlocks LLM potential for spatial-temporal forecasting. Remarkably, our approach achieves competitive performance on par with dedicated SOTA methods.

研究の動機と目的

• 空間-時間予測におけるLLMsの利用を動機づけ、グラフベースの空間-時間データと自然言語処理モデル間のデータ不一致に対処する。
• STG-Tokenizerを提案し、空間-時間グラフをLLMsに適したトークン様表現へ変換する。
• STG-Adapterを提案し、トークンの意味をLLMsへ橋渡しする際の微調整を最小限に抑える。
• 重厚な特注アーキテクチャや広範な特徴エンジニアリングを用いずに、STG-LLMが競争力のある性能を達成できることを示す。

提案手法

• 各ノードを時系列情報と時間的意味論および任意の埋め込み（例：時刻、曜日）を含むトークンとして扱う、空間-時間グラフトークナイザー（STG-Tokenizer）を定義する。
• トークン化されたデータをLLMの潜在空間へ写像し、予測へ戻す、線形エンコーダとデコーダからなる軽量な空間-時間グラフアダプター（STG-Adapter）を導入する。
• トークン化された空間-時間データとプロンプトを組み合わせ、凍結されたLLM（GPT-2）へ入力する一方で、わずかなパラメータ（STG-Tokenizer、STG-Adapter、および選択的埋め込み）だけをファインチューニングする。
• LLMフレンドリーな表現から次のPステップ予測を生成するために、線形層と残差接続を用いたデコーディング経路を用いる。
• 空間-時間依存性をより適切に捉えるために位置埋め込みと層正規化をファインチューニングする一方で、NL能力を保持するためLLMの重みは凍結したままにする。

実験結果

リサーチクエスチョン

• RQ1 生データのシーケンスやテキストではなく、トークン化されたグラフノードとして表現された空間-時間データを、LLMは理解できるのだろうか？
• RQ2 STG-TokenizerとSTG-Adapterは、最小限のパラメータ更新で効果的な空間-時間予測をどのように実現するのか？
• RQ3 多様な空間-時間ドメイン（交通、電力、金融）におけるSTG-LLMの性能は、最先端のベースラインと比べてどうか？
• RQ4 プロンプトは、ドメインや時相の文脈を注入することでSTG-LLMの性能を高めるのか？

主な発見

データセット	STG-LLM MAE	STG-LLM RMSE	STG-LLM MAPE(%)
PEMS03	14.97	24.30	16.00
PEMS04	18.14	30.11	12.27
PEMS07	19.82	33.06	8.51
PEMS08	13.78	23.15	9.10

• STG-LLMは交通ベンチマークで競争力のある性能を発揮し、しばしば多くのベースラインを上回り、一部のケースでPDFormerに近づく。
• ElectricityとExchangeRateデータセットでは、STG-LLMは明示的なグラフ構造を持たずに、いくつかのグラフベースのベースラインを上回る。
• Few-shot実験は、STG-LLMが限られたデータで新しいデータセットへ適応でき、少数のサンプルで従来のDL手法に近づくことを示す。
• プロンプト使用はSTG-LLMの性能を向上させ、LLMの知識が空間-時間予測を導けることを示している。
• アブレーション分析は、STG-TokenizerとSTG-Adapterが性能にとって重要であり、パラメータ効率の良いファインチューニング（総パラメータの約1.7%）を示す。
• このアプローチはドメインを超えた強い一般化を示し、控えめなファインチューニングで空間-時間予測にLLMsを用いる実用性を確認している。