[論文レビュー] Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View

Peisong Niu, Tian Zhou+3 more|arXiv (Cornell University)|Nov 24, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

この論文は、事前学習済みの言語モデルおよび視覚モデルを凍結し、タスク固有のアダプタを組み合わせることで、効率的な微調整が可能な統一されたフレームワークを提案する。予測、異常検出、少サンプル学習のあらゆる分野で最先端の性能を示し、自己注意機構が主成分分析（PCA）に類似することを理論的に示し、モデルの普遍性を説明する。

ABSTRACT

In the burgeoning domain of Large Language Models (LLMs), there is a growing interest in applying LLM to time series forecasting, with multiple studies focused on leveraging textual prompts to further enhance the predictive prowess. This study aims to understand how and why the integration of textual prompts into LLM can effectively improve the prediction accuracy of time series, which is not obvious at the glance, given the significant domain gap between texts and time series. Our extensive examination leads us to believe that (a) adding text prompts is roughly equivalent to introducing additional adapters, and (b) It is the introduction of learnable parameters rather than textual information that aligns the LLM with the time series forecasting task, ultimately enhancing prediction accuracy. Inspired by this discovery, we developed four adapters that explicitly address the gap between LLM and time series, and further improve the prediction accuracy. Overall,our work highlights how textual prompts enhance LLM accuracy in time series forecasting and suggests new avenues for continually improving LLM-based time series analysis.

研究の動機と目的

• 自然言語処理（NLP）およびコンピュータビジョン（CV）分野の事前学習モデルを用いて、多様な時間系列タスクに適応可能な統一的かつパラメータ効率の良いフレームワークの開発。
• 数十億のパラメータを持つ事前学習モデルを活用することで、時間系列解析におけるデータ不足の課題を克服。
• 予測や異常検出といった主要タスクにおける性能を顕著に向上させる専用アダプタの設計。
• 自己注意機構と主成分分析（PCA）の理論的関連性を示し、トランスフォーマーの汎用性を理論的および実験的に説明。
• 一つの凍結済み事前学習バックボーンが、複数の時間系列タスクにおいて、タスク固有のモデルを上回ることを実証。

提案手法

• 事前学習済みの言語または視覚トランスフォーマーバックボーンの重みを凍結し、入力および出力埋め込みの適応に射影行列を用いる。
• 予測、異常検出、分類、補完の4つのタスク固有アダプタを導入し、パラメータのわずかな部分のみを微調整可能に設計。
• 計算コストを最小限に抑えつつパフォーマンス向上を最大化するため、低ランク微調整（LoRA）などの効率的パラメータチューニング手法を適用。
• 理論的分析により、自己注意機構が最適化条件下で、勾配ノルムを最小化することで主成分分析（PCA）に類似した動作を示すことが判明。
• 実験的検証では、自己注意機構とPCAの間でトークン類似度およびパフォーマンスの両面で強い類似性を確認。
• BERT（NLP）およびViT（CV）からの事前学習モデルの使用により、モダリティおよびバックボーン間での転送可能性が裏付けられた。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの言語または視覚モデルを凍結した状態で、タスク固有のアーキテクチャ変更なしに、時間系列予測および異常検出で優れた性能を達成できるか？
• RQ2 専用アダプタは、凍結済みの事前学習モデルの下流時間系列タスクにおける性能をどのように向上させるか？
• RQ3 自己注意機構と主成分分析（PCA）の間にはどのような理論的関連性があるか？
• RQ4 ドメインシフトが生じるにもかかわらず、なぜ一つの事前学習トランスフォーマーバックボーンが多様な時間系列タスクに汎用的に適応できるのか？
• RQ5 NLPおよびCV分野からのクロスモダリティ知識転送は、時間系列解析をどの程度向上できるか？

主な発見

• 凍結済み事前学習トランスフォーマー（FPT）は、予測、異常検出、分類、少サンプル学習を含む、評価されたすべての時間系列タスクで最先端または競争力のある性能を達成。
• 提案されたタスク固有アダプタは、FPT単体よりも顕著に性能を向上させ、予測および異常検出の分野で、すべての既存の最先端手法を上回った。
• 実験的結果から、自己注意機構をPCAに置き換えても、トークン類似度のパターンが保持され、パフォーマンスにほぼ同等の水準が維持されることが判明し、強い行動的類似性が示された。
• 理論的分析により、自己注意機構が勾配最小化条件下で、入力共分散行列の上位固有ベクトルと一致する最適な注意行列を学習することで、PCAと同等の機能を果たすことが証明された。
• フレームワークはモダリティを越えて汎用性を示した：同じ事前学習バックボーン（例：BERTまたはViT）が、時間系列タスクに適用されても高い性能を発揮し、クロスモダリティ間の転送可能性が確認された。
• 強力な性能を発揮しているものの、一部のデータセットではゼロショット予測の性能がN-BEATSのような専用モデルに劣っており、ゼロショット一般化の向上の余地が残っている。