[논문 리뷰] Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning

Yuxuan Bian, Xuan Ju외 4명|arXiv (Cornell University)|2024. 02. 07.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 예측을 자기지도 다중패치 예측 작업으로 재구성함으로써 대규모 언어 모델(Large Language Models, LLMs)을 시계열 표현 학습에 적응시키는 새로운 프레임워크인 aL LM4TS를 제안한다. 이는 인과적 다음패치 예측 이후 다중패치 보정 훈련을 포함하는 이단계 훈련 전략을 사용하며, 시간 표현 학습을 향상시키는 패치 기반 디코딩 레이어를 도입하여 다양한 시계열 작업에서 최고 성능을 달성하고, 뛰어난 전이 가능성(transferability)을 보인다.

ABSTRACT

In this study, we present aLLM4TS, an innovative framework that adapts Large Language Models (LLMs) for time-series representation learning. Central to our approach is that we reconceive time-series forecasting as a self-supervised, multi-patch prediction task, which, compared to traditional contrastive learning or mask-and-reconstruction methods, captures temporal dynamics in patch representations more effectively. Our strategy encompasses two-stage training: (i). a causal continual pre-training phase on various time-series datasets, anchored on next patch prediction, effectively syncing LLM capabilities with the intricacies of time-series data; (ii). fine-tuning for multi-patch prediction in the targeted time-series context. A distinctive element of our framework is the patch-wise decoding layer, which departs from previous methods reliant on sequence-level decoding. Such a design directly transposes individual patches into temporal sequences, thereby significantly bolstering the model's proficiency in mastering temporal patch-based representations. aLLM4TS demonstrates superior performance in several downstream tasks, proving its effectiveness in deriving temporal representations with enhanced transferability and marking a pivotal advancement in the adaptation of LLMs for time-series analysis.

연구 동기 및 목표

• 다양한 후행 시계열 작업 간에 일반화되고 전이 가능한 시계열 표현을 학습하는 데 도전하는 것.
• 복잡한 시간 동적 특성을 포착하는 데 한계가 있는 전통적인 자기지도 학습 방법(예: 마스크 및 재구성, 대비 학습)의 한계를 극복하는 것.
• 작업에 특화된 다중패치 예측 파라다임을 통해 LLM의 순차 모델링 능력을 시계열 데이터에 적응시키는 것.
• 패치 수준의 디코딩을 순차 수준의 의존성과 분리함으로써 표현 학습을 향상시키고 모델의 적응 가능성(가소성)을 높이는 것.
• 제안된 프레임워크 aL LM4TS가 다양한 시계열 벤치마크와 작업에서 뛰어난 성능과 전이 가능성(transferability)을 보이는지 확인하는 것.

제안 방법

• 기존의 마스크 및 재구성 또는 대비 학습 방식을 대체하여, 시계열 예측을 자기지도 다중패치 예측 작업으로 재구성한다.
• 이중단계 훈련 전략을 적용한다: (1) 다양한 시계열 데이터셋에서 다음패치 예측을 사용한 인과적 연속적 사전 훈련, (2) 타겟 도메인에서의 다중패치 예측을 위한 보정 훈련.
• 각 패치를 시간 도메인으로 독립적으로 디코딩하는 패치 기반 디코딩 레이어를 도입하여, 순차 수준의 시간 관계 모델링을 피한다.
• 공유된 패치 수준 선형 디코더 행렬 $\mathbf{W}_p \in \mathbb{R}^{D \times P}$ 를 사용하여, 순차 수준 디코더 대비 최대 0.34%의 파라미터 감소를 달성한다.
• 장거리 순차 모델링에 대한 LLM의 인덕티브 바이어스를 활용하면서도, 패치 수준 표현에 집중함으로써 시간 역동성의 포착을 향상시킨다.
• 사전 훈련 이후, 프롬프트 테이닝 또는 희소 훈련 기법을 사용하여 LLM 기반 모델을 시계열 입력에 적응시킨다.

실험 결과

연구 질문

• RQ1 다중패치 예측이 마스크 및 재구성 또는 대비 학습보다 시계열 표현 학습에 더 효과적인 자기지도 사전 훈련 목표로 기능할 수 있는가?
• RQ2 순차 수준 디코딩 대비 패치 수준 디코딩이 시간 역동성을 유지하고 모델 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 인과적 다음패치 사전 훈련 이후 다중패치 보정 훈련을 수행하는 이중단계 훈련 전략이 다양한 시계열 작업에서 전이 가능성과 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크 aL LM4TS가 표준 벤치마크에서 예측, 분류, 이상 탐지 작업에서 최고 성능(SOTA)을 달성하는가?
• RQ5 모델 크기와 훈련 효율성 측면에서 패치 수준 디코더의 파라미터 효율성은 전통적인 순차 수준 디코더보다 얼마나 뛰어나며, 어떤가?

주요 결과

• aL LM4TS는 ETTm1 및 ETTm2를 포함한 여러 시계열 벤치마크에서 최고 성능(SOTA)을 달성하며, 이상 탐지에서 평균 F1 점수는 87.51%이며, ETTm2에서 50% 예측 수준에서 평균 MAE는 0.055를 기록한다.
• 패치 기반 디코딩 레이어 덕분에 순차 수준 디코더 대비 최대 0.34%의 파라미터 감소를 달성하여, 파라미터 효율성 측면에서 뚜렷한 향상을 보였다.
• 이중단계 훈련 전략—인과적 다음패치 사전 훈련 이후 다중패치 보정 훈련—은 모든 후행 작업에서 뛰어난 성능을 보이며, GPT4TS, PatchTST, FEDformer 등의 방법을 능가한다.
• SMD 데이터셋에서 aL LM4TS는 정밀도 87.87%, 재현율 83.09%, F1 점수 85.42%를 기록했으며, GPT4TS(F1: 86.72%) 및 기타 최고 성능 모델을 능가한다.
• 다양한 데이터 도메인에서 강력한 제로샷 및 피처샷 일반화 능력을 보이며, 모델의 강력한 전이 가능성과 적응 가능성(가소성)을 확인한다.
• 절단 실험 결과, 패치 기반 디코딩 설계가 시간 역동성 학습을 인코더에만 집중시켜 디코더 수준의 순차 모델링 간섭을 방지함으로써 성능 향상에 크게 기여한다는 것이 확인되었다.