[논문 리뷰] TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models

Yilong Ren, Yue Chen외 4명|arXiv (Cornell University)|2024. 03. 04.

Traffic Prediction and Management Techniques인용 수 11

한 줄 요약

TPLLM은 CNN 기반 시퀀스 인코더와 GCN 기반 그래프 인코더를 갖춘 프리트레이닝된 대형 언어 모델을 LoRA로 미세조정하여 전체 샘플 및 소수 샘플 상황에서 트래픽 예측을 수행합니다.

ABSTRACT

Traffic prediction constitutes a pivotal facet within the purview of Intelligent Transportation Systems (ITS), and the attainment of highly precise predictions holds profound significance for efficacious traffic management. The precision of prevailing deep learning-driven traffic prediction models typically sees an upward trend with a rise in the volume of training data. However, the procurement of comprehensive spatiotemporal datasets for traffic is often fraught with challenges, primarily stemming from the substantial costs associated with data collection and retention. Consequently, developing a model that can achieve accurate predictions and good generalization ability in areas with limited historical traffic data is a challenging problem. It is noteworthy that the rapidly advancing pretrained Large Language Models (LLMs) of recent years have demonstrated exceptional proficiency in cross-modality knowledge transfer and few-shot learning. Recognizing the sequential nature of traffic data, similar to language, we introduce TPLLM, a novel traffic prediction framework leveraging LLMs. In this framework, we construct a sequence embedding layer based on Convolutional Neural Networks (CNNs) and a graph embedding layer based on Graph Convolutional Networks (GCNs) to extract sequence features and spatial features, respectively. These are subsequently integrated to form inputs that are suitable for LLMs. A Low-Rank Adaptation (LoRA) fine-tuning approach is applied to TPLLM, thereby facilitating efficient learning and minimizing computational demands. Experiments on two real-world datasets demonstrate that TPLLM exhibits commendable performance in both full-sample and few-shot prediction scenarios, effectively supporting the development of ITS in regions with scarce historical traffic data.

연구 동기 및 목표

• 제한된 과거 데이터 지역에서 정확한 트래픽 예측의 필요성 제시.
• 사전 학습된 LLM을 활용하여 시공간 트래픽 데이터에 대한 소수 샘플 학습 가능성 확보.
• LLM 입력을 위한 시계열 특징 및 그래프 구조 공간 특징의 통합.
• 전체 모델 재훈련 없이 LoRA를 통한 비용 효율적 미세조정 증명.
• 전체 및 소수 샘플 설정에서 실제 데이터셋으로 성능 검증.

제안 방법

• temporal 패턴에 대한 CNN 기반 시퀀스 임베딩과 공간 구조에 대한 GCN 기반 그래프 임베딩의 2-브랜치 입력 임베딩 구성.
• 임베딩을 융합하고 선형 계층과 정규화를 통해 LLM 임베딩 크기로 매핑하여 Emb(X) 생성.
• 저랭크 적응(LoRA)을 각 트랜스포머 블록에서 미세조정하여 매개변수 효율적인 학습 달성.
• 선형 계층을 사용해 LLM 출력 값을 예측 수렴 시점 T′로 맵핑하고 ReLU 활성화를 적용하여 예측을 생성.
• 아웃라이어를 다루기 위해 강건 MAE 손실로 학습.

실험 결과

연구 질문

• RQ1 사전 학습된 LLM이 시퀀스 및 그래프 임베딩을 장착했을 때 제한된 과거 데이터로도 정확한 트래픽 예측을 달성할 수 있는가?
• RQ2 LoRA 기반 미세조정이 전체 미세조정 및 전통적 베이스라인과 비교해 full 샘플 및 few-shot 설정에서 트래픽 예측에 대해 어떤 성능을 보이는가?
• RQ3 LoRA 차수를 달리하는 것이 예측 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 시공-시간 임베딩이 LLM에서 트래픽 데이터로의 교차 모달 지식 이전을 효과적으로 가능하게 하는가?

주요 결과

• TPLLM은 PeMS04 및 PeMS08에서 전체 샘플 및 소수 샘플 설정 모두에서 LSTM 및 다른 ST-GCN 베이스라인을 능가한다.
• 전체 샘플 예측에서 15분, 30분, 60분 예측 구간에서 두 데이터셋 모두에서 MAE, RMSE, MAPE 측면에서 최상의 성능을 달성한다.
• 소수 샘플 예측에서 다른 베이스라인보다 더 작은 성능 저하를 보이며 프리트레이닝된 LLM으로부터의 효과적 소수 샘플 학습을 입증한다.
• LoRA를 사용하면 약 0.95%의 매개변수를 학습 가능하게 하여 계산 비용을 줄이면서도 경쟁력 있는 성능을 달성한다.
• 시각화 결과 TPLLM이 두 데이터셋에서 일반적인 교통 패턴(주중 피크 및 주말의 완만한 흐름)을 포착함을 보여준다.