[論文レビュー] A Multi-Horizon Quantile Recurrent Forecaster

Ruofeng Wen, Kari Torkkola+2 more|arXiv (Cornell University)|Nov 29, 2017

Time Series Analysis and Forecasting参考文献 22被引用数 257

ひとこと要約

MQ-RNN を提案する。時系列の多期限確率的分位予測を生成する Seq2Seq フレームワーク。フォーキングシーケンス学習と期限別コンテキストを用い、静的/未来の共変量とシリーズ間学習を扱う。

ABSTRACT

We propose a framework for general probabilistic multi-step time series regression. Specifically, we exploit the expressiveness and temporal nature of Sequence-to-Sequence Neural Networks (e.g. recurrent and convolutional structures), the nonparametric nature of Quantile Regression and the efficiency of Direct Multi-Horizon Forecasting. A new training scheme, *forking-sequences*, is designed for sequential nets to boost stability and performance. We show that the approach accommodates both temporal and static covariates, learning across multiple related series, shifting seasonality, future planned event spikes and cold-starts in real life large-scale forecasting. The performance of the framework is demonstrated in an application to predict the future demand of items sold on Amazon.com, and in a public probabilistic forecasting competition to predict electricity price and load.

研究の動機と目的

• 一般的な確率的な多ステップ時系列回帰フレームワークを開発する。
• Seq2Seq ニューラルネットを分位回帰と Direct Multi-Horizon forecasting に統合する。
• エンコーダ-デコーダ構造の安定した学習方式（フォーキングシーケンス）を導入する。
• 時系列的・静的共変量、未来の既知イベント、クロスシリーズ学習を補助する。
• 大規模な Amazon 需要データと公開の電力予測タスクで有効性を示す。

提案手法

• 歴史を隠れ状態に要約する Seq2Seq ベースのエンコーダを用いる。
• グローバル MLP コンテキストとホライズン特有のローカル MLP により、多期限の分位予測を K×Q 出力として生成する。
• ホライズンと分位の合計損失を最小化して訓練する。
• 複数の時点でデコーダを共有パラメータで作成し、一回の多期限学習を可能にするフォーキングシーケンス学習を導入する。
• ホライズン特有のコンテキストとグローバルコンテキストを通じて、既知の未来情報と未来合わせの特徴を組み込む。
• エンコーダの拡張（例：NARX風スキップ、ラグ入力、WaveNet風拡張畳み込み）を許可し、静的/未来特徴を活用して性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seq アーキテクチャを時系列の多期限分位予測出力へ直接適用できるか。
• RQ2 分位回帰による Direct Multi-Horizon アプローチは、再帰的手法よりも頑健でキャリブレーションされた確率予測を提供するか。
• RQ3 既知の未来情報と季節性/イベント効果を予測フレームワーク内でどのように整列させるか。
• RQ4 フォーキングシーケンス学習は、エンコーダ-デコーダ時系列モデルの安定性と効率を改善するか。
• RQ5 単一モデルで複数の関連系列を学習し、コールドスタート予測を行えるか。

主な発見

• MQ-RNN は、ベースラインと比較してホライズン・分位全体で確率予測精度を改善した。
• フォーキングシーケンス学習は、複数の予測作成時点でパラメータを共有することで学習を安定化し、訓練コストを削減した。
• ホライズン特有のコンテキストとホライズン非依存のグローバルコンテキストを組み合わせることで、季節性とイベントの整列が改善され、予測区間が鋭くなった。
• 代替エンコーダ（例：WaveNet風拡張の MQ-CNN やラグベース入力）は、さらなる性能向上を提供できる。
• MQ-RNN バリアントは、多期限分位損失と既知の未来情報を活用することで、Amazon 需要予測および GE FCom2014 電力価格/需要予測タスクで最先端を上回る。
• 分位予測（例：P10、P50、P90）は、各ホライズンで有用なキャリブレーションとシャープネスを提供する。