[論文レビュー] MQTransformer: Multi-Horizon Forecasts with Context Dependent and Feedback-Aware Attention

Carson Eisenach, Yagna Patel+1 more|arXiv (Cornell University)|Sep 30, 2020

Traffic Prediction and Management Techniques被引用数 10

ひとこと要約

MQTransformerは、文脈依存的位置エンコーディング、ホライズン別デコーダ-エンコーダー注意、フィードバック対応自己注意機構を備えた、マルチホライズン時系列予測のための新規Transformerベースアーキテクチャを提案する。予測のばらつきを67%低減し、ピーク期には33%低い分位数損失を達成し、TFT や MQ-CNN といった最先端モデルを上回る性能を示した。

ABSTRACT

Recent advances in neural forecasting have produced major improvements in accuracy for probabilistic demand prediction. In this work, we propose novel improvements to the current state of the art by incorporating changes inspired by recent advances in Transformer architectures for Natural Language Processing. We develop a novel decoder-encoder attention for context-alignment, improving forecasting accuracy by allowing the network to study its own history based on the context for which it is producing a forecast. We also present a novel positional encoding that allows the neural network to learn context-dependent seasonality functions as well as arbitrary holiday distances. Finally we show that the current state of the art MQ-Forecaster (Wen et al., 2017) models display excess variability by failing to leverage previous errors in the forecast to improve accuracy. We propose a novel decoder-self attention scheme for forecasting that produces significant improvements in the excess variation of the forecast.

研究の動機と目的

• 最先端のマルチホライズン予測モデルが過去の予測誤差を学習できないことによる過剰な予測ばらつきを是正すること。
• 文脈依存的季節性とホライズン別表現を注意メカニズムに組み込むことで、予測精度を向上させること。
• 計算効率を損なわずに確率的時系列予測に適した正しい誘導バイアスを学習する神経ネットワークアーキテクチャを設計すること。
• 予測の文脈と歴史的誤差パターンに基づき、注意機構を動的に適応させ、予測の進化を改善すること。
• 予測のばらつき低減と精度向上が、アーキテクチャの革新によって同時に達成可能であり、トレードオフではないことを示すこと。

提案手法

• ドメイン固有のイベント指標（例：休日、プロモーション）から導出された新規位置エンコーディングを導入し、文脈依存的季節性関数を学習する。
• ホライズン別デコーダ-エンコーダー注意を提案し、デコーダーが各予測ホライズンに特化したエンコーダー状態に注目できるようにすることで、表現の忠実性を向上させる。
• フィードバック対応デコーダー自己注意機構を設計し、過去の予測誤差の知識を組み込むことで、過剰なばらつきを低減する。
• 分岐シーケンスを用いて、利用可能な全トラジェクトリ（例：小売データセットで2000万件）を訓練に活用し、ダウンサンプリングなしにデータを完全に活用する。
• ばらつきに対する明示的正則化を用いない単一の目的関数（分位数損失）を採用し、アーキテクチャ設計による安定性の向上を達成する。
• 自然言語処理とは異なる、時系列予測に特化した修正された誘導バイアスを備えたTransformerベースの注意機構を活用する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、自身の歴史的誤差を学習することで、予測のばらつきを低減できるか？
• RQ2 文脈依存的位置エンコーディングは、固定された休日距離を越える複雑な季節的パターンのモデリングを改善できるか？
• RQ3 ホライズン別注意機構は、プロモーションや季節的ピークのようなサブ問題の予測精度を向上させるか？
• RQ4 注意機構におけるアーキテクチャ的革新は、トレードオフを伴わずに精度向上と過剰ばらつき低減を同時に達成できるか？
• RQ5 フィードバック対応自己注意機構のようなアーキテクチャ的選択は、マルチホライズン予測において標準的注意機構を上回るか？

主な発見

• MQTransformerは、ベースラインのMQ-Forecasterと比較して、P50分位数で67%、P90分位数で95%の過剰な予測ばらつきを低減した。
• 最も挑戦的な小売予測タスクにおいて、MQTransformerはP50分位数で前回の最先端モデル（TFT）を38%、P90分位数で11%上回った。
• 年間を通じて全体のP90分位数損失が5.5%低減され、ピーク期には最大33%の改善が達成された。
• MQTransformerは、1つのV100 GPUで2000万件のトラジェクトリを用いて1エポック5分で学習が可能であり、TFT（1エポック13分）を上回る性能を示し、データの完全活用が可能だった。
• フォークシーケンスを用いない45万件のサブサンプルで再訓練しても、MQ-CNNが全データで学習したベースラインと同等の性能を維持した。
• 電力需要、ボラティリティ、交通予測の4つの公開データセットにおいて、MQTransformerはDeepAR、ConvTrans、MQ-RNN、TFTといった最先端モデルと同等または上回る性能を示した。