[논문 리뷰] Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View

Peisong Niu, Tian Zhou외 3명|arXiv (Cornell University)|2023. 11. 24.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 사전 훈련된 언어 및 시각 모델의 고정된 가중치를 활용하고 작업에 특화된 어댑터를 통합하여 효율적인 미세조정을 가능하게 하는 통합 프레임워크를 제안한다. 이는 예측, 이상 탐지, 소수 샘플 학습 등 다양한 분야에서 최신 기술 수준(SOTA) 성능을 보이며, 자기주의(self-attention)가 주성분 분석(PCA)과 이론적으로 연결됨을 설명함으로써 모델의 일반성에 기여한다.

ABSTRACT

In the burgeoning domain of Large Language Models (LLMs), there is a growing interest in applying LLM to time series forecasting, with multiple studies focused on leveraging textual prompts to further enhance the predictive prowess. This study aims to understand how and why the integration of textual prompts into LLM can effectively improve the prediction accuracy of time series, which is not obvious at the glance, given the significant domain gap between texts and time series. Our extensive examination leads us to believe that (a) adding text prompts is roughly equivalent to introducing additional adapters, and (b) It is the introduction of learnable parameters rather than textual information that aligns the LLM with the time series forecasting task, ultimately enhancing prediction accuracy. Inspired by this discovery, we developed four adapters that explicitly address the gap between LLM and time series, and further improve the prediction accuracy. Overall,our work highlights how textual prompts enhance LLM accuracy in time series forecasting and suggests new avenues for continually improving LLM-based time series analysis.

연구 동기 및 목표

• NLP 및 CV 분야의 사전 훈련된 모델을 활용하여 다양한 시계열 작업을 위한 통합적이고 파rameter 효율적인 프레임워크를 개발한다.
• 수십억 개의 가중치를 갖는 사전 훈련된 모델을 활용하여 시계열 분석에서의 데이터 부족 문제를 해결한다.
• 예측 및 이상 탐지와 같은 핵심 작업에서 성능을 크게 향상시키기 위한 전문화된 어댑터를 설계한다.
• 자기주의가 PCA와 연결됨을 이론적 및 실증적으로 설명함으로써 트랜스포머 모델의 다중 도메인 작업에서의 일반성 원리를 규명한다.
• 단일 고정된 사전 훈련된 백본이 다양한 시계열 작업에서 전용 모델을 능가할 수 있음을 보여준다.

제안 방법

• 사전 훈련된 언어 또는 시각 트랜스포머 백본의 가중치를 고정하고, 입력 및 출력 임bedding을 시계열 데이터에 적합하기 위해 투영 행렬을 사용한다.
• 예측, 이상 탐지, 분류, 보간 등 네 가지 작업에 특화된 어댑터를 도입하여 가중치를 조정하는 데 필요한 파라미터 수를 최소화한다.
• 저랭크 미세조정(LoRA)과 같은 효율적인 파rameter 조정 기법을 적용하여 계산 비용을 최소화하면서 성능 향상을 극대화한다.
• 이론적 분석을 통해 자기주의가 특정 조건 하에서 기울기 노름을 최소화할 때 주성분 분석(PCA)을 근사함을 보여주며, 최적의 어텐션 행렬이 입력 공분산 행렬의 최상위 고유벡터와 일치함을 증명한다.
• 실증적 검증을 통해 자기주의와 PCA 간의 토큰 유사도 및 성능를 비교하여 강한 행동 유사성을 확인한다.
• BERT(NLP)와 ViT(CV)에서 유래한 사전 훈련된 모델을 사용함으로써 다양한 모odal 및 백본 간의 전이 가능성(transferability)을 확인한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 또는 시각 모델을 고정된 상태로 유지할 경우, 작업에 특화된 아키텍처 변경 없이도 시계열 예측 및 이상 탐지에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 특화된 어댑터는 고정된 사전 훈련된 모델의 성능을 시계열 작업의 하류에서 어떻게 향상시키는가?
• RQ3 자기주의 기반 메커니즘과 주성분 분석(PCA) 사이의 이론적 연결 고리는 무엇인가?
• RQ4 도메인 간 이동이 발생하더라도 단일 사전 훈련된 트랜스포머 백본이 다양한 시계열 작업에 일반화되는 이유는 무엇인가?
• RQ5 NLP 및 CV 분야에서의 교차 모odal 지식 전이가 시계열 분석에 얼마나 기여하는가?

주요 결과

• 고정된 사전 훈련된 트랜스포머(FPT)는 예측, 이상 탐지, 분류, 소수 샘플 학습 등 평가된 모든 시계열 작업에서 최신 기술 수준 또는 경쟁 가능한 성능을 기록한다.
• 제안된 작업에 특화된 어댑터는 FPT만 사용하는 것보다 성능 향상을 크게 이끌어내며, 특히 예측 및 이상 탐지 분야에서 기존의 최신 기술 수준 방법들을 모두 능가한다.
• 실증 결과로 자기주의를 PCA로 대체하더라도 토큰 유사도 패턴이 유지되고 성능 수준이 유사함을 확인하여 강한 행동 유사성을 입증한다.
• 이론적 분석을 통해 자기주의가 기울기 최소화 조건 하에서 입력 공분산 행렬의 최상위 고유벡터와 일치하는 함수를 수행함을 증명하며, 최적의 어텐션 행렬이 PCA와 동일한 기능을 수행함을 보여준다.
• 이 프레임워크는 모달 간 일반화가 가능함을 입증한다. 동일한 사전 훈련된 백본(BERT 또는 ViT)이 시계열 작업에 적용되었을 때 뛰어난 성능을 보이며, 교차 모달 전이 가능성의 타당성을 확인한다.
• 강력한 성능에도 불구하고 일부 데이터셋에서의 제로샷 예측 성능은 N-BEATS와 같은 전용 모델에 비해 뒤처지며, 제로샷 일반화 성능 향상 여력이 남아 있음을 시사한다.