[論文レビュー] TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series

Chenxi Sun, Yaliang Li+2 more|arXiv (Cornell University)|Aug 16, 2023

Time Series Analysis and Forecasting被引用数 20

ひとこと要約

TESTは、時間シリーズをトークン化し、インスタンスごと、特徴ごと、テキストプロトタイプに整列した埋め込みを学習し、ソフトプロンプトを使用してLLMsが言語能力を損なうことなくTS分類と予測を行えるようにする TS-for-LLM フレームワークを提案する。

ABSTRACT

This work summarizes two ways to accomplish Time-Series (TS) tasks in today's Large Language Model (LLM) context: LLM-for-TS (model-centric) designs and trains a fundamental large model, or fine-tunes a pre-trained LLM for TS data; TS-for-LLM (data-centric) converts TS into a model-friendly representation to enable the pre-trained LLM to handle TS data. Given the lack of data, limited resources, semantic context requirements, and so on, this work focuses on TS-for-LLM, where we aim to activate LLM's ability for TS data by designing a TS embedding method suitable for LLM. The proposed method is named TEST. It first tokenizes TS, builds an encoder to embed TS via instance-wise, feature-wise, and text-prototype-aligned contrast, where the TS embedding space is aligned to LLM embedding layer space, then creates soft prompts to make LLM more open to that embeddings, and finally implements TS tasks using the frozen LLM. We also demonstrate the feasibility of TS-for-LLM through theory and experiments. Experiments are carried out on TS classification, forecasting, and representation tasks using eight frozen LLMs with various structures and sizes. The results show that the pre-trained LLM with TEST strategy can achieve better or comparable performance than today's SOTA TS models and offer benefits for few-shot and generalization. By treating LLM as the pattern machine, TEST can endow LLM's ability to process TS data without compromising language ability. We hope that this study will serve as a foundation for future work to support TS+LLM progress.

研究の動機と目的

• LLMがゼロから学習済みのLLMを事前学習させることなく、LLMが時系列データを扱えるようにするアプローチとしてTS-for-LLMパラダイムを要約する。
• プロトタイプベースのコントラスト学習を介してTSトークンをLLMのテキスト空間に整列させる埋め込み法TESTを提案・検証する。
• 複数のLLMとデータセットに対するTS分類と予測でTESTの有効性を示す。
• テキストプロトタイプとプロンプトがLLMs内のTS埋め込みの性能と解釈性に与える影響を分析する。

提案手法

• ランダム長のセグメントで多変量TSをトークン化し、指数的に膨張させた因果畳み込みネットワークでそれらをエンコードする。
• インスタンスごとのコントラスト学習（MoCoスタイル）を適用してTSトークン埋め込みを学習する。
• minibatch内の特徴列を整列・識別するために特徴ごとのコントラストを導入する。
• TS埋め込みを選択したテキストプロトタイプ埋め込みへマッピングし、LLMのテキスト空間と整列させることでテキストプロトタイプに整列したコントラストを実装する。
• 学習可能なソフトプロンプトを用いて downstream TSタスクのためにLLMを導く。LLMは凍結したまま、分類や予測のためにデコーダ/ヘッドをオプションで微調整する。
• エンコーダ、プロンプト、タスク固有のヘッドを組み合わせたアルゴリズム的なトレーニング手法（TEST Training Method）を提供する。

実験結果

リサーチクエスチョン

• RQ1 TESTはLLMが言語能力を維持しつつTS埋め込みを介して時系列データを処理できるようにするか？
• RQ2 インスタンスごと、特徴ごと、テキストプロトタイプ整列のコントラストが埋め込み品質と下流のTSタスクにどのように寄与するか？
• RQ3 テキストプロトタイプとプロンプトは異なるLLMアーキテクチャに対してTS分類と予測の性能にどのような影響を与えるか？
• RQ4 TESTアプローチを用いたTS-for-LLMは標準データセット上で従来のTSベースラインをどの程度上回ることができるか？

主な発見

• TESTは128個の単変量TSデータセットと30個の多変量TSデータセットでLLMの分類精度を向上させ、ベースラインのLLM QA手法に比べて顕著な利点を示す。
• GPT2-117Mは単変量で少なくとも18%、多変量で25%の改善を示す。
• より大きなモデル（約200M+）ではTESTがDWTを上回る可能性があり、約700M+では分類タスクでDWTDを上回る。
• アブレーションにより、テキストプロトタイプとプロンプトが性能に大きく影響することが示され、直交・適応プロトタイプやランダムでないプロンプト初期化の方が良いことがわかった。
• プロンプト設計（ソフトプロンプト）は結果に大きく影響し、モデルが大きい場合は短いプロンプトでも十分である。
• TSERデータセットを用いた予測実験ではTESTがLLMの予測精度を改善し、ベースラインに対して競争力のある結果を示す。