[論文レビュー] PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Hao Xue, Flora D. Salim|arXiv (Cornell University)|Sep 20, 2022

Stock Market Forecasting Methods被引用数 11

ひとこと要約

この論文では、時系列予測を自然言語生成タスクとして定式化し、数値シーケンスを事前学習済み言語モデル向けの記述的プロンプトに変換する、PromptCastと呼ばれる新しいプロンプトベースの学習パラダイムを導入する。この手法は、強力なゼロショット一般化性能を達成し、従来の数値的手法を上回る性能を示しており、新しい大規模データセット（PISA）と多様な予測シナリオにおけるベンチマークによって検証されている。

ABSTRACT

This paper presents a new perspective on time series forecasting. In existing time series forecasting methods, the models take a sequence of numerical values as input and yield numerical values as output. The existing SOTA models are largely based on the Transformer architecture, modified with multiple encoding mechanisms to incorporate the context and semantics around the historical data. Inspired by the successes of pre-trained language foundation models, we pose a question about whether these models can also be adapted to solve time-series forecasting. Thus, we propose a new forecasting paradigm: prompt-based time series forecasting (PromptCast). In this novel task, the numerical input and output are transformed into prompts and the forecasting task is framed in a sentence-to-sentence manner, making it possible to directly apply language models for forecasting purposes. To support and facilitate the research of this task, we also present a large-scale dataset (PISA) that includes three real-world forecasting scenarios. We evaluate different SOTA numerical-based forecasting methods and language generation models. The benchmark results with various forecasting settings demonstrate the proposed PromptCast with language generation models is a promising research direction. Additionally, in comparison to conventional numerical-based forecasting, PromptCast shows a much better generalization ability under the zero-shot setting.

研究の動機と目的

• 大規模な事前学習済み言語基盤モデルを、アーキテクチャの変更なしに時系列予測に適応できるかを検討すること。
• 従来の手法が単一の数値入出力と複雑なモデル設計に依存するというギャップを埋めること。
• 予測を文から文への生成タスクとして扱う、新しいパラダイムであるPromptCastを提案すること。
• 天気、エネルギー、顧客流入の予測をカバーする、現実世界の実データを含む大規模なデータセット（PISA）をリリースすること。
• ゼロショットやマルチステップ予測を含む多様な設定において、数値的予測モデルと言語生成モデルの両方を評価するベンチマークを確立すること。

提案手法

• 固定テンプレートを用いて、数値的時系列を自然言語のプロンプトに変換し、シーケンスを記述的文に変換する。
• 時系列予測をテキスト生成タスクとして定式化し、入力として文脈プロンプトを、出力として自然言語で表現された将来の値を提示する。
• 微調整なしで事前学習済み言語モデル（例：LLaMA、OPT）を用いて推論を実行し、ゼロショット予測を可能にする。
• 履歴値、時系列的文脈（例：日付、曜日）、補助情報（例：場所、天候状態）を含むプロンプトテンプレートを設計する。
• 気温、エネルギー消費、顧客流入の3つの現実世界の予測シナリオをカバーする、合計311,932件のインスタンスを含むPISAデータセットを構築する。
• トレーニングからスクラッチ、ゼロショット、マルチステップ、多次元予測の各設定を含む、性能評価のためのベンチマークフレームワークを開発する。

実験結果

リサーチクエスチョン

• RQ1 数値的シーケンスの自然言語記述をプロンプトとして与えた場合、事前学習済み言語モデルが時系列予測を効果的に行えるか。
• RQ2 ゼロショット設定下で、プロンプトベースの予測手法と従来の数値ベースの予測モデルの一般化性能を比較すると、どちらが優れているか。
• RQ3 言語モデルが、プロンプトベースの入力によって、時間的パターンと数値的意味をどの程度正確に捉えることができるか。
• RQ4 統一されたプロンプトベースのパラダイムが、タスク固有のモデル再設計なしに、多様な時系列予測シナリオをカバーできるか。
• RQ5 テンプレートベースのプロンプティングにおける、制限要因と今後の改善の余地は何か。

主な発見

• 言語生成モデルを用いたPromptCastは、強力な予測性能を達成しており、事前学習済み言語モデルを時系列タスクに活用する可能性を示している。
• 提案されたパラダイムは、従来の数値ベースの予測モデルと比較して、顕著に優れたゼロショット一般化能力を示している。
• 事例研究により、言語モデルのアテンションメカニズムが、数値的値トークンと補助的文脈トークンの両方を効果的に注目していることが確認された。
• ベンチマーク結果により、一変量および多次元の両設定を含む、多様な時系列シナリオにおいて言語モデルが一般化できることを検証した。
• PISAデータセットにより、現実世界の予測タスクにおける一貫した評価が可能となり、今後のプロンプトベースの時系列予測研究を支援する。
• このアプローチにより、チャットボットの予測や時系列質問応答システムなどの新しい応用分野が開かれる可能性がある。