[論文レビュー] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov+2 more|arXiv (Cornell University)|May 24, 2019

Forecasting Techniques and Applications参考文献 39被引用数 160

ひとこと要約

純粋な深層学習アーキテクチャを用いた単变量時系列予測が、M3、M4、観光データセットで最先端の精度を達成し、構造化されたトレンドと季節性成分を通じて解釈可能な出力を実現する。

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

研究の動機と目的

• 標準的な単変量時系列予測ベンチマークにおいて、純粋な深層学習アーキテクチャが従来の統計的方法を上回ることを示す。
• モデルが時系列特有の特徴量エンジニアリングや入力スケーリングを用いずに動作できることを示す。
• 解釈可能なアーキテクチャの派生を開発し、人間が理解できる予測成分（トレンドと季節性）を生み出す。
• 多様なデータセットに対して強い一般化をもたらす学習およびアンサンブル戦略を提供する。

提案手法

• バックキャストとフォアキャストを生成する前向き・後方残差リンクを備えた全結合ブロックのスタックから構成される深層ニューラルアーキテクチャを導入する。
• ブロックとスタック全体で部分的な予測とバックキャストを統合する二重残差スタッキング方式を用いる。
• 2つの構成を定義する。汎用DLモデルと、スタック内で多項式トレンドとフーリエ基底の季節性を強制する帰納的バイアスを持つ解釈可能なDLモデル。
• 各ブロックごとに2つの出力モダリティを提供する。前方予測と後方バックキャストの両方を、学習された展開係数と基底関数を通じて表現する。
• 解釈性を高め、勾配伝播を促進するため、スタック内で基底関数の共有を許可する。
• 予報対象の各ホライズンHごとに別個のモデルを訓練し、ホライズンとデータセット間でアーキテクチャとハイパーパラメータを再利用し、性能向上のためにアンサンブルを用いる。
• 予測をトレンドと季節性の成分に分解して解釈性を議論する。トレンドは低次数多項式として、季節性はフーリエ基底によってモデル化する。

実験結果

リサーチクエスチョン

• RQ1 時系列特有の成分を持たない純粋な深層学習アーキテクチャが、主要な時系列予測ベンチマークで伝統的な統計手法を上回ることができるか？
• RQ2 予測精度を犠牲にすることなく、DLモデルから解釈可能な予測成分（トレンドと季節性）を得ることは可能か？
• RQ3 スタック内で基底関数を共有することは、性能を維持しつつ解釈性と訓練効率を向上させるか？
• RQ4 ホライズン、指標、ランダム初期化を横断したアンサンブルは、予測精度と頑健性にどのような影響を与えるか？

主な発見

• N-BEATSは、報告された構成と指標においてM3、M4、観光データセットで最先端の性能を達成。
• 2つの構成を検討: 汎用DLモデル（N-BEATS-G）と解釈可能なモデル（N-BEATS-I）。N-BEATS-Iは大幅な精度低下なしに解釈可能なトレンドと季節性出力を提供可能。
• M4データセットでは、N-BEATS系が統計的ベンチマークおよびM4競技会の優勝者を顕著な差で上回り、時系列予測における純粋なDL手法の力を示している。
• 解釈可能な変種は予測を単調なトレンドと規則的な季節成分に分解し、従来の分解技法に似た形式で、最小限の精度低下で実現。
• ホライズン、指標、ウィンドウ長、乱数種に基づく複数モデルのアンサンブルは、さらなる性能向上をもたらし、強力な正則化として機能する。