[논문 리뷰] CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning

Peiyuan Liu, Hang Guo외 6명|arXiv (Cornell University)|2024. 03. 12.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

CALF는 정적 및 동적 지식 증류를 통해 시간 시계열을 사전 학습된 LLM 임베딩과 정렬하는 크로스-모달 파인튜닝 프레임워크를 도입하여 장기 및 단기 예측에서 최첨단 성능을 달성하고 일반화를 향상시킵니다.

ABSTRACT

Deep learning (e.g., Transformer) has been widely and successfully used in multivariate time series forecasting (MTSF). Unlike existing methods that focus on training models from a single modal of time series input, large language models (LLMs) based MTSF methods with cross-modal text and time series input have recently shown great superiority, especially with limited temporal data. However, current LLM-based MTSF methods usually focus on adapting and fine-tuning LLMs, while neglecting the distribution discrepancy between textual and temporal input tokens, thus leading to sub-optimal performance. To address this issue, we propose a novel Cross-Modal LLM Fine-Tuning (CALF) framework for MTSF by reducing the distribution discrepancy between textual and temporal data, which mainly consists of the temporal target branch with temporal input and the textual source branch with aligned textual input. To reduce the distribution discrepancy, we develop the cross-modal match module to first align cross-modal input distributions. Additionally, to minimize the modality distribution gap in both feature and output spaces, feature regularization loss is developed to align the intermediate features between the two branches for better weight updates, while output consistency loss is introduced to allow the output representations of both branches to correspond effectively. Thanks to the modality alignment, CALF establishes state-of-the-art performance for both long-term and short-term forecasting tasks with low computational complexity, and exhibiting favorable few-shot and zero-shot abilities similar to that in LLMs. Code is available at https://github.com/Hank0626/LLaTA.

연구 동기 및 목표

• 시간 시계열 데이터와 텍스트 LLM 표현 간의 모달리티 격차를 해소하여 예측 일반화 성능을 향상시키려는 동기 부여.
• 정적(임베딩 공간)과 동적(맥락적) LLM 지식을 시간 예측 모델로 전달하기 위해 교차 모달 지식 증류를 활용한다.
• 시간 데이터 처리와 LLM 기반 텍스트 지식을 통합하기 위한 이중 분기 아키텍처를 설계한다.
• 치명적인 망각 없이 효과적인 전이를 가능하게 하는 학습 손실과 효율성 전략을 개발한다.

제안 방법

• 텍스트 모달 분기(LLM 기반)와 시간 시계열 처리를 위한 시간 모달 분기를 갖는 이원 분기 프레임워크.
• 정적 지식 학습은 PCA를 사용해 단어 임베딩을 압축하고 교차 어텐션으로 투사된 시계열 토큰을 주성 단어 임베딩과 정렬시켜 LLM 분기에 맞춘 정렬된 텍스트 토큰을 생성한다.
• 동적 지식 학습은 두 가지 증류 손실을 사용한다: (i) 모달리티 간 중간 표현을 정렬하기 위한 특징 규제, (ii) 두 분기의 출력 정렬을 위한 모달 일관성 손실.
• 총 학습 손실은 감독 손실과 두 증류 손실을 합친다: L_total = L_sup + lambda1 L_output + lambda2 L_feature.
• 매개변수 효율적인 학습은 LoRA와 시간 분기의 위치 인코딩 미세 조정을 사용한다.
• 실제 정답 감독 및 교차 모달 정렬 손실이 텍스트 분기로부터 시간 분기로의 지식 전달을 이끈다.

실험 결과

연구 질문

• RQ1 교차 모달 지식 증류가 시간 시계열 및 텍스트 임베딩 간의 모달리티 격차를 줄여 예측 성능을 향상시킬 수 있는가?
• RQ2 사전 학습된 LLM의 정적(임베딩 기반) 및 동적(맥락적) 지식을 시간 시계열 예측과 일반화 향상에 어떻게 활용할 수 있는가?
• RQ3 교차 모달 일관성을 강제하고 파인튜닝 중 망각을 방지하는 효과적인 손실 설계는 무엇인가?
• RQ4 제안된 LLaTA 프레임워크가 장기, 단기 및 적은 샷/제로 샷 예측 시나리오 전반에서 최첨단 성능을 달성하는가?

주요 결과

• LLaTA는 여러 실제 데이터 세트에서 장기 및 단기 예측 모두에서 최첨단 성능을 달성한다.
• 장기 예측에서 LLaTA는 평가의 다수에서 최상의 결과를 제시하고 PatchTST 및 GPT4TS를 포함한 강력한 베이스라인을 지속적으로 능가한다.
• M4 데이터셋의 단기 예측에서 LLaTA는 15개 카테고리 중 14개에서 최상의 결과를 달성하고 선두 방법을 능가한다.
• LLaTA는 강력한 적은 샷 및 제로 샷 일반화 능력을 입증하고 교차 도메인 전이 시나리오에서 베이스라인보다 우수하다.
• 어블레이션 연구는 감독 손실, 특징 규제 손실, 모달 일관성 손실의 결합이 테스트 데이터 세트에서 MSE/MAE 성능을 가장 좋게 만든다는 것을 확인한다.