[論文レビュー] Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning

Yuxuan Bian, Xuan Ju+4 more|arXiv (Cornell University)|Feb 7, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、予測を自己教師付きのマルチパッチ予測タスクに再定式化することで、大規模言語モデル（LLM）を時系列表現学習に適応する新しいフレームワークaL LM4TSを提案する。2段階の訓練戦略（因果的次パッチ予測の継続的事前学習、その後のマルチパッチファインチューニング）を採用し、時系列表現学習を強化するパッチ単位のデコードレイヤーを導入。多様な時系列下流タスクにおいて最先端の性能を達成し、優れた転移性を示す。

ABSTRACT

In this study, we present aLLM4TS, an innovative framework that adapts Large Language Models (LLMs) for time-series representation learning. Central to our approach is that we reconceive time-series forecasting as a self-supervised, multi-patch prediction task, which, compared to traditional contrastive learning or mask-and-reconstruction methods, captures temporal dynamics in patch representations more effectively. Our strategy encompasses two-stage training: (i). a causal continual pre-training phase on various time-series datasets, anchored on next patch prediction, effectively syncing LLM capabilities with the intricacies of time-series data; (ii). fine-tuning for multi-patch prediction in the targeted time-series context. A distinctive element of our framework is the patch-wise decoding layer, which departs from previous methods reliant on sequence-level decoding. Such a design directly transposes individual patches into temporal sequences, thereby significantly bolstering the model's proficiency in mastering temporal patch-based representations. aLLM4TS demonstrates superior performance in several downstream tasks, proving its effectiveness in deriving temporal representations with enhanced transferability and marking a pivotal advancement in the adaptation of LLMs for time-series analysis.

研究の動機と目的

• 多様な下流タスクにわたる汎用的で転移可能な時系列表現を学習する課題に対処すること。
• 複雑な時系列ダイナミクスを捉えるのに限界がある従来の自己教師付き手法（マスク・再構築や対照的学習）の課題を克服すること。
• タスク特化型のマルチパッチ予測パラダイムを通じて、LLMの系列モデリングの強みを時系列データに適応させること。
• パッチレベルのデコードを系列レベルの依存関係から分離することで表現学習を改善し、モデルの適応性を高めること。
• 提案されたフレームワークaL LM4TSが、複数の時系列ベンチマークおよびタスクにおいて優れた性能と転移性を示すことを実証すること。

提案手法

• 時系列予測を従来のマスク・再構築や対照的学習に代わる自己教師付きマルチパッチ予測タスクに再定式化する。
• 2段階の訓練戦略を採用する：(1) 様々な時系列データセットを用いた因果的継続的事前学習（次パッチ予測）、(2) ターゲットドメインにおけるマルチパッチ予測のファインチューニング。
• 各パッチを時系列ドメインに独立してデコードするパッチ単位のデコードレイヤーを導入し、時系列的関係の系列レベルモデリングを回避する。
• 共有されたパッチレベル線形デコーダ行列 $\mathbf{W}_p \in \mathbb{R}^{D \times P}$ を使用し、系列レベルデコーダーと比較して最大0.34%のパラメータ削減を実現する。
• 長距離系列モデリングに適したLLMのインダクティブバイアスを活用しながら、パッチレベル表現に焦点を当てることで、時系列ダイナミクスの捉えを向上させる。
• 事前学習後に、プロンプトチューニングまたはファインチューニング技術を用いてLLMバックボーンを時系列入力に適応させる。

実験結果

リサーチクエスチョン

• RQ1 マスク・再構築や対照的学習に比べ、マルチパッチ予測が時系列表現学習の自己教師付き事前学習目的としてより効果的であるか？
• RQ2 パッチ単位のデコードは系列単位のデコードと比較して、時系列ダイナミクスの保持とモデル性能の向上にどのように寄与するか？
• RQ3 因果的次パッチ事前学習に続くマルチパッチファインチューニングという2段階の訓練戦略が、多様な時系列タスクにおける転移性と性能をどれほど向上させるか？
• RQ4 提案されたフレームワークaL LM4TSは、標準ベンチマークにおいて予測、分類、異常検出の分野で最先端の性能を達成するか？
• RQ5 パラメータ効率の観点から、従来の系列レベルデコーダーと比較してパッチ単位デコーダーはモデルサイズと学習効率の面でどの程度優れているか？

主な発見

• aL LM4TSは、ETTm1およびETTm2を含む複数の時系列ベンチマークで最先端の性能を達成し、異常検出の平均F1スコアは87.51%、ETTm2における50%予測ホライズンでの平均MAEは0.055を記録した。
• パッチ単位のデコードレイヤーは、系列レベルデコーダーと比較してデコーダーのパラメータ数を最大0.34%削減し、顕著なパラメータ効率の向上を実現した。
• 因果的次パッチ事前学習に続くマルチパッチファインチューニングという2段階の訓練戦略は、すべての下流タスクで優れた性能を発揮し、GPT4TS、PatchTST、FEDformerなどの手法を上回った。
• SMDデータセットでは、aL LM4TSは精度87.87%、再現率83.09%、F1スコア85.42%を達成し、GPT4TS（F1: 86.72%）や他の最先端モデルを上回った。
• 多様なデータドメインにわたるゼロショットおよびフェイワショット一般化性能が強く、その強力な転移性と適応性を確認した。
• アブレーションスタディにより、パッチ単位のデコード設計が、エンコーダーに時系列ダイナミクス学習を集中させ、デコーダーの系列モデリングによる干渉を回避することで、性能の顕著な向上をもたらしていることが確認された。