[論文レビュー] TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models

Yilong Ren, Yue Chen+4 more|arXiv (Cornell University)|Mar 4, 2024

Traffic Prediction and Management Techniques被引用数 11

ひとこと要約

TPLLM は、CNN ベースのシーケンスエンコーダと GCN ベースのグラフエンコーダを備えた事前学習済み大規模言語モデルを使用し、LoRA で微調整して、全サンプルおよび少数ショットシナリオで交通予測を行う。

ABSTRACT

Traffic prediction constitutes a pivotal facet within the purview of Intelligent Transportation Systems (ITS), and the attainment of highly precise predictions holds profound significance for efficacious traffic management. The precision of prevailing deep learning-driven traffic prediction models typically sees an upward trend with a rise in the volume of training data. However, the procurement of comprehensive spatiotemporal datasets for traffic is often fraught with challenges, primarily stemming from the substantial costs associated with data collection and retention. Consequently, developing a model that can achieve accurate predictions and good generalization ability in areas with limited historical traffic data is a challenging problem. It is noteworthy that the rapidly advancing pretrained Large Language Models (LLMs) of recent years have demonstrated exceptional proficiency in cross-modality knowledge transfer and few-shot learning. Recognizing the sequential nature of traffic data, similar to language, we introduce TPLLM, a novel traffic prediction framework leveraging LLMs. In this framework, we construct a sequence embedding layer based on Convolutional Neural Networks (CNNs) and a graph embedding layer based on Graph Convolutional Networks (GCNs) to extract sequence features and spatial features, respectively. These are subsequently integrated to form inputs that are suitable for LLMs. A Low-Rank Adaptation (LoRA) fine-tuning approach is applied to TPLLM, thereby facilitating efficient learning and minimizing computational demands. Experiments on two real-world datasets demonstrate that TPLLM exhibits commendable performance in both full-sample and few-shot prediction scenarios, effectively supporting the development of ITS in regions with scarce historical traffic data.

研究の動機と目的

• 歴史データが限られている地域での正確な交通予測を動機付ける。
• 時空間交通データの少数ショット学習を可能にするために、事前学習済み LLM を活用する。
• LLM 入力のために、時間的シーケンス特徴とグラフ構造の空間特徴を統合する。
• モデル全体の再学習なしに、LoRA を用いたコスト効率の高い微調整を実証する。
• 全データと少数ショット設定の実データセットで性能を検証する。

提案手法

• 時系列パターンのための CNN ベースのシーケンス埋め込みと、空間構造のための GCN ベースのグラフ埋め込みを組み合わせた二 branch の入力埋め込みを構築する。
• 埋め込みを融合し、線形層と正規化を用いて LLM の埋め込みサイズにマッピングし、Emb(X) を生成する。
• 各トランスフォーマーブロックで Low-Rank Adaptation (LoRA) を用いて、パラメータ効率の高い学習を実現するよう、事前学習済み Transformer ベースの LLM を微調整する。
• LLM 出力を予測ホライズン T′ にマップする線形層を用い、予測を得るために ReLU 活性化を適用する。
• センサデータの外れ値に対処するために頑健な MAE ロスで訓練する。

実験結果

リサーチクエスチョン

• RQ1 時系列とグラフ埋め込みを備えた事前学習済み LLM は、限られた歴史データで正確な交通予測を達成できるか。
• RQ2 全データと少数ショットの設定の両方で、LoRA ベースの微調整は、完全微調整や従来のベースラインと比較して交通予測でどの程度効果的か。
• RQ3 LoRA のランクを変化させることが、予測精度と効率にどのような影響を与えるか。
• RQ4 時空間埋め込みは、LLMs から交通データへの他モダリティ知識転送を効果的に有効にするか。

主な発見

Dataset	Model	MAE_15	RMSE_15	MAPE_15	MAE_30	RMSE_30	MAPE_30	MAE_60	RMSE_60	MAPE_60	MAE_Avg	RMSE_Avg	MAPE_Avg
PeMS04	LSTM	29.10	45.45	21.07%	27.25	43.66	19.26%	32.28	49.57	22.45%	29.23	45.84	20.76%
PeMS04	STGCN	23.56	38.16	16.07%	25.31	40.39	17.14%	30.29	46.70	20.74%	25.92	41.28	17.66%
PeMS04	ASTGCN	19.68	31.10	12.85%	21.52	33.89	13.99%	25.78	39.99	16.94%	21.83	34.48	14.25%
PeMS04	STSGCN	20.09	32.09	14.70%	21.60	34.18	15.52%	24.83	38.51	18.35%	21.78	34.45	15.68%
PeMS04	TPLLM	18.39	30.06	12.04%	19.43	31.76	12.67%	21.49	34.81	14.20%	19.53	31.93	12.81%
PeMS08	LSTM	24.16	37.70	18.52%	22.60	36.16	17.18%	26.94	41.05	20.07%	24.29	37.99	18.42%
PeMS08	STGCN	20.12	30.58	13.06%	21.24	32.28	13.72%	24.78	37.10	15.86%	21.69	32.92	14.01%
PeMS08	ASTGCN	16.19	25.01	10.37%	18.13	27.93	11.51%	22.16	33.53	13.82%	18.33	28.30	11.64%
PeMS08	STSGCN	16.26	25.07	10.61%	17.44	27.09	12.17%	19.59	30.41	12.69%	17.56	27.18	12.08%
PeMS08	TPLLM	14.29	22.96	9.15%	15.43	25.34	9.83%	17.22	28.43	11.05%	15.45	25.35	9.88%

• TPLLM は PeMS04 および PeMS08 において、全サンプルおよび少数ショット設定の双方で LSTM および他の ST-GCN ベースラインを上回る。
• 全サンプル予測では、15分、30分、60分の各ホライゾンで、両データセットにおいて MAE、RMSE、MAPE の最良を達成。
• 少数ショット予測では、TPLLM はベースラインより劣化が小さく、事前学習済み LLM からの効果的な少数ショット学習を示す。
• LoRA によりパラメータの約0.95% を訓練可能にし、計算コストを削減しつつ競争力のある性能を実現。
• 可視化により、TPLLM が両データセットで典型的な交通パターン（平日ピークと週末の滑らかな日）を捉えていることが示される。