[논문 리뷰] TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series

Chenxi Sun, Yaliang Li외 2명|arXiv (Cornell University)|2023. 08. 16.

Time Series Analysis and Forecasting인용 수 20

한 줄 요약

TEST는 시간 시퀀스를 토큰화하고, 인스턴스별, 피처별, 텍스트 프로토타입 정렬 임베딩을 학습하며, 소프트 프롬프트를 사용하여 LLM이 언어 능력을 잃지 않고 TS 분류 및 예측을 수행하도록 하는 TS-for-LLM 프레임워크를 제안한다.

ABSTRACT

This work summarizes two ways to accomplish Time-Series (TS) tasks in today's Large Language Model (LLM) context: LLM-for-TS (model-centric) designs and trains a fundamental large model, or fine-tunes a pre-trained LLM for TS data; TS-for-LLM (data-centric) converts TS into a model-friendly representation to enable the pre-trained LLM to handle TS data. Given the lack of data, limited resources, semantic context requirements, and so on, this work focuses on TS-for-LLM, where we aim to activate LLM's ability for TS data by designing a TS embedding method suitable for LLM. The proposed method is named TEST. It first tokenizes TS, builds an encoder to embed TS via instance-wise, feature-wise, and text-prototype-aligned contrast, where the TS embedding space is aligned to LLM embedding layer space, then creates soft prompts to make LLM more open to that embeddings, and finally implements TS tasks using the frozen LLM. We also demonstrate the feasibility of TS-for-LLM through theory and experiments. Experiments are carried out on TS classification, forecasting, and representation tasks using eight frozen LLMs with various structures and sizes. The results show that the pre-trained LLM with TEST strategy can achieve better or comparable performance than today's SOTA TS models and offer benefits for few-shot and generalization. By treating LLM as the pattern machine, TEST can endow LLM's ability to process TS data without compromising language ability. We hope that this study will serve as a foundation for future work to support TS+LLM progress.

연구 동기 및 목표

• LLMs를 처음부터 사전 학습시키지 않고 시계열 데이터를 처리하도록 하는 접근 방식으로 TS-for-LLM 패러다임을 요약한다.
• 프로토타입 기반 대조 학습을 통해 TS 토큰을 LLM 텍스트 공간과 정렬하는 임베딩 방법 TEST를 제안하고 검증한다.
• 여러 LLM 및 데이터셋에 걸친 TS 분류 및 예측에서 TEST의 효과를 시연한다.
• 텍스트 프로토타입과 프롬프트가 LLM 내 TS 임베딩의 성능과 해석 가능성에 미치는 영향을 분석한다.

제안 방법

• 다변수 TS를 임의 길이 세그먼트를 통해 토큰으로 토큰화하고, 지수적으로 확장된 인과 합성곱 네트워크로 이를 인코딩한다.
• 인스턴스별 대조 학습(MoCo 스타일)을 적용하여 TS 토큰 임베딩을 학습한다.
• 미니배치 내에서 피처 열을 정렬하고 차별화하기 위해 피처별 대조를 도입한다.
• 선택된 텍스트 프로토타입 임베딩에 TS 임베딩을 매핑하고 LLM 텍스트 공간과 정렬하여 텍스트 프로토타입 정렬 대조를 구현한다.
• 학습 가능한 소프트 프롬프트를 사용하여 다운스트림 TS 작업을 위해 LLM을 안내하되 LLM은 동결하고 선택적으로 분류나 예측용 디코더/헤드를 미세 조정한다.
• 엔코더, 프롬프트, 작업별 헤드를 결합한 알고리즘적 훈련 절차(TEST Training Method)를 제공한다.

실험 결과

연구 질문

• RQ1 TEST가 LLM이 TS 임베딩을 통해 시계열 데이터를 처리하면서도 그들의 언어 능력을 보존하게 할 수 있는가?
• RQ2 인스턴스별, 피처별, 텍스트 프로토타입 정렬 대조가 임베딩 품질과 다운스트림 TS 작업에 어떻게 기여하는가?
• RQ3 다른 LLM 아키텍처 전반에 걸쳐 텍스트 프로토타입과 프롬프트가 TS 분류 및 예측 성능에 미치는 영향은 무엇인가?
• RQ4 TEST를 활용한 TS-for-LLM이 표준 데이터세트에서 전통적 TS 기준선을 어느 정도 능가할 수 있는가?

주요 결과

• TEST는 128개의 단변량(univariate) TS 데이터셋과 30개의 다변량(multivariate) TS 데이터셋에서 LLM 분류 정확도를 높이고, 기준 LLM QA 방법에 비해 주목할 만한 이점을 보인다.
• GPT2-117M은 TEST를 사용할 때 단변량에서 최소 18%, 다변량에서 25%의 향상을 보인다.
• 더 큰 모델(~200M+일 때)에서는 TEST가 DWT를 능가할 수 있으며, 약 700M+에서 DWTD를 분류 작업에서 능가한다.
• 절멸 분석 결과 텍스트 프로토타입과 프롬프트가 성능에 크게 영향을 미치며, 직교적/적응적 프로토타입과 비무작위 프롬프트 초기화가 더 성능이 좋다.
• 프롬프트 설계(소프트 프롬프트)가 결과에 크게 영향을 미치며, 충분히 큰 모델의 경우 짧은 프롬프트로도 충분하다.
• TSER 데이터셋에 대한 예측 실험은 TEST가 LLM 예측 정확도를 향상시키고 기본값 대비 경쟁력 있는 결과를 낳음을 보여준다.