[論文レビュー] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

Bryan Lim, Sercan Ö. Arık+2 more|arXiv (Cornell University)|Dec 19, 2019

Energy Load and Power Forecasting被引用数 83

ひとこと要約

Temporal Fusion Transformer (TFT) を導入する。注意機構ベースのアーキテクチャで、高いマルチホライズン予測性能と解釈可能な洞察を共同で達成し、静的共変量、既知の未来入力、過去に観測された入力をゲーティングと変数選択で処理する。

ABSTRACT

Multi-horizon forecasting problems often contain a complex mix of inputs -- including static (i.e. time-invariant) covariates, known future inputs, and other exogenous time series that are only observed historically -- without any prior information on how they interact with the target. While several deep learning models have been proposed for multi-step prediction, they typically comprise black-box models which do not account for the full range of inputs present in common scenarios. In this paper, we introduce the Temporal Fusion Transformer (TFT) -- a novel attention-based architecture which combines high-performance multi-horizon forecasting with interpretable insights into temporal dynamics. To learn temporal relationships at different scales, the TFT utilizes recurrent layers for local processing and interpretable self-attention layers for learning long-term dependencies. The TFT also uses specialized components for the judicious selection of relevant features and a series of gating layers to suppress unnecessary components, enabling high performance in a wide range of regimes. On a variety of real-world datasets, we demonstrate significant performance improvements over existing benchmarks, and showcase three practical interpretability use-cases of TFT.

研究の動機と目的

• 静的共変量、既知の未来入力、過去の観測入力というヘテロゲニアスな入力を用いたマルチホライズン予測の課題を動機づける。
• 解釈可能性を可能にしながら高い予測精度を達成するためにTFTを提案する。
• 解釈可能性のユースケースを紹介し、実世界データセットでベンチマークを上回る改善を示す。
• 特徴選択、ゲーティング、分位点ベースの予測区間のコンポーネントを備えた実用的でスケーラブルなアーキテクチャを提供する。

提案手法

• GLUベースのゲーティングを備えたゲーテッド・レジデュアル・ネットワーク（GRN）を提案し、非線形処理を制御する。
• 各時点で顕著な静的および時変入力を選択する変数選択ネットワークを導入する。
• 静的共変量エンコーダを使用して、静的メタデータからのコンテキストをコンテキストベクトル（c_s, c_e, c_c, c_h）を介して注入する。
• 長期依存性をモデル化する解釈可能なマルチヘッドアテンションデコーダを使用し、解釈可能性のためヘッド間で共有値重みを採用する。
• シーケンス間のローカル処理層を適用してローカリティを強化し、静的エンリッチメント層で静的コンテキストと時間特徴を融合する。
• デコーダーマスキング付きのタイムポートテンシャル自注意層（InterpretableMultiHead）を用いて因果関係を保ち、長距離パターンを捉える。
• 線形出力層を介して予測区間（例えば10パーセンタイル、50パーセンタイル、90パーセンタイル）を提供する。
• 複数のホライゾンと分位点にわたる最適化のために分位損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 静的共変量、既知未来入力、過去観測入力を効果的に扱うマルチホライズン予測のアーキテクチャをどのように設計できるか。
• RQ2 注意機構ベースの手法は、最新の性能に匹敵またはそれを上回りつつ、時間的ダイナミクスの解釈可能な洞察を提供できるか。
• RQ3 どのアーキテクチャ要素（ゲーティング、変数選択、静的エンコーダなど）が、幅広い実世界データセットで精度と解釈性を最も改善するか。
• RQ4 TFTの解釈可能性機能は、グローバルに重要な変数、持続的な時間パターン、重要なイベントをユーザーが識別するのをどう支援するか。

主な発見

• TFTは、複数の実世界データセット（Electricity、Traffic、Retail、Volatility）でベースラインより顕著な性能改善を達成する。
• モデルは3つの解釈可能性ユースケースをサポートする：グローバルに重要な変数の識別、持続的な時間パターン、重要なイベント。
• 分位点予測は、マルチホライゾン予測の予測区間（例：P50およびP90）を可能にする。
• ゲーティングと変数選択ネットワークは、無関係な入力を抑制し、データに対するモデルの複雑さを適応させる。
• 静的共変量エンコーダは時間ダイナミクスを効果的に条件付け、局所処理と長距離のアテンションの両方を改善する。
• シーケンス対シーケンスのローカル処理層と解釈可能なマルチヘッドアテンションデコーダは、短期および長期依存関係の堅牢な学習を可能にする。