[논문 리뷰] Enhancing few-shot time series forecasting with LLM-guided diffusion

Haonan Shi, Dehua Shuai외 3명|arXiv (Cornell University)|2026. 01. 19.

Machine Learning in Healthcare인용 수 0

한 줄 요약

본 논문은 LTSM-DIFF를 소개합니다. 이는 미세 조정된 LLM을 시간 기억으로 활용하여 확산 모델을 시계열 예측에 조건화하고, 데이터가 풍부한 경우와 few-shot 환경 모두에서 성능을 향상시키는 프레임워크입니다.

ABSTRACT

Time series forecasting in specialized domains is often constrained by limited data availability, where conventional models typically require large-scale datasets to effectively capture underlying temporal dynamics. To tackle this few-shot challenge, we propose LTSM-DIFF (Large-scale Temporal Sequential Memory with Diffusion), a novel learning framework that integrates the expressive power of large language models with the generative capability of diffusion models. Specifically, the LTSM module is fine-tuned and employed as a temporal memory mechanism, extracting rich sequential representations even under data-scarce conditions. These representations are then utilized as conditional guidance for a joint probability diffusion process, enabling refined modeling of complex temporal patterns. This design allows knowledge transfer from the language domain to time series tasks, substantially enhancing both generalization and robustness. Extensive experiments across diverse benchmarks demonstrate that LTSM-DIFF consistently achieves state-of-the-art performance in data-rich scenarios, while also delivering significant improvements in few-shot forecasting. Our work establishes a new paradigm for time series analysis under data scarcity.

연구 동기 및 목표

• 시계열 예측에서 데이터 부족 문제를 해결하기 위해 사전 학습된 언어 모델을 시간 기억으로 활용합니다.
• 확산 기반 예측을 풍부한 순차 표현으로 안내하는 교차 모달 조건화 메커니즘을 개발합니다.
• 데이터 전부 및 few-shot 레짐 전반에 걸쳐 정확도와 견고성을 개선하고 다양한 벤치마크에서 확인합니다.
• LLM 기억, 확산 조건화 및 학습 전략의 기여를 이해하기 위한 제거 및 분석을 제공합니다.

제안 방법

• 다중 변수 시계열에서 시간 표현을 추출하기 위해 Low-Rank Adaptation(LoRA)을 적용한 GPT-2 기반 인코더를 미세 조정합니다.
• 임베딩 층과 트랜스포머 블록을 사용하여 과거 시계열을 잠재 표현으로 임베딩하고 처음 여섯 개의 GPT-2 블록으로 피드합니다.
• 자기회귀 MSE 손실로 LLM-인코더를 학습하여 예측 시간적 사전 정보를 확립합니다.
• LLM-유도 표현과 과거 데이터를 모두 조건화하는 확산 기반 예측기(UViT)를 구현하고 입력과 타깃의 전진 노이싱 프로세스를 통해 결합 분포를 모델링합니다.
• 삽입된 노이즈(ε)와 LLM 및 확산 손실을 균형 매개변수로 결합하는 확산 목적함수를 통해 joint 조건부 분포를 학습합니다.
• 추론 시 LLM 유도 기억을 조건으로 미래를 생성하기 위해 반복적 디노이징을 수행합니다.
• 자 autoregressive 및 diffusion 감독을 균형 있게 다루는 L = L_LLM + λ * L_diffusion의 공동 학습 objective를 사용합니다.

실험 결과

연구 질문

• RQ1 LLM 유도 시간 기억이 few-shot 데이터 제약 하에서 확산 기반 예측을 개선할 수 있는가?
• RQ2 미세 조정된 LLM의 교차 모달 조건화가 확률적 시계열 모델링과 불확실성 정량화에 도움을 주는가?
• RQ3 다양한 데이터셋 전반에서 자기회귀 LLM 목표와 확산 기반 예측을 함께 최적화하는 추가 가치는 무엇인가?

주요 결과

• LTSM-DIFF는 데이터가 풍부한 설정에서 여러 실제 데이터셋에 대해 최첨단 성능을 달성합니다.
• few-shot 예측에서 상당한 개선을 보이며 매우 제한된 미세 조정 데이터로도 경쟁력 있는 정확도를 유지합니다.
• LLM 기억, 확산 조건화 및 전체 모델 조합의 통합으로 인한 점진적 이득을 제거 연구가 보여줍니다.
• 레이어 선택 분석은 중간~후반의 GPT-2 레이어(예: 6번째 레이어)를 사용하는 것이 오차와 효율성 사이의 우호적인 균형을 제공한다는 것을 보여줍니다.
• LLM 기억과 확산 목표의 공동 학습은 개별 구성요소를 분리해 사용할 때보다 이점이 있습니다.