[論文レビュー] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov+2 more|arXiv (Cornell University)|May 24, 2019

Forecasting Techniques and Applications参考文献 33被引用数 517

ひとこと要約

N-BEATS を導入する、後方/前方残差と二重残差スタックを持つ純粋な深層学習の単変量時系列予測アーキテクチャで、M3、M4、観光データセットで最先端の結果を達成し、解釈可能な出力を提供します。

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

研究の動機と目的

• 時系列特有の特徴量を用いず、純粋な深層学習アーキテクチャが単変量時系列予測において従来の統計的手法を上回ることを実証する。
• トレーニングが高速で、領域を跨いでスケール可能な、バックワードとフォワードの残差をスタックに整理した深層アーキテクチャを提案する。
• 精度を犠牲にすることなく、アーキテクチャが解釈可能な出力（トレンドと季節性）を生成できることを示す。
• 多様なデータセット（M3、M4、観光）上で性能を評価し、領域を跨った一般化を確立する。

提案手法

• N-BEATS のビルディングブロックを提案する：前方（theta^f）と後方（theta^b）展開係数を予測する全結合ネットワーク。
• 展開係数を、基底ベクトル v^f および v^b を介して予測 y_hat およびバックキャスト x_hat へ写像する基底層 g^f および g^b を用いる。
• ブロックをスタックに整理し、二重残差接続を用いる：x_l = x_{l-1} - x_hat_{l-1}, y_hat = sum over l of y_hat_l.
• 2つの構成を提供する：汎用のDL版（時系列特有のバイアスなし）と、帰納的バイアスを持つ解釈可能な版（トレンドを多項式、季節性を Fourier 基底として表現）。
• スタック横断の部分予測を集約して最終予測 y_hat を形成する；異なる入力、指標、および乱数初期化で訓練されたモデルのアンサンブルを含む。
• 訓練：各データセットごとに horizon ごとに1つのモデルを訓練する；Adam を用いる；交差検証されたハイパーパラメータ；早期停止；長さ 2H..7H の履歴ウィンドウからの 1024 バッチサンプリング。

実験結果

リサーチクエスチョン

• RQ1 純粋な深層学習が、TS特有の特徴量設計を用いず、さまざまな単変量時系列データセットで最先端の予測精度を達成できるか？
• RQ2 予測性能を犠牲にすることなく、解釈可能な出力（トレンドと季節性）を生成するアーキテクチャを設計できるか？
• RQ3 スタッキングと残差接続が深層時系列モデルの訓練安定性と一般化に与える影響は何か？
• RQ4 ベンチマークデータセット上で、N-BEATS モデルのアンサンブルは従来の統計手法およびハイブリッド手法とどのように比較されるか？

主な発見

• N-BEATS の構成は M3、M4、tourism データセットで最先端の性能を達成し、統計的ベンチマークおよび M4 の優勝モデルを大きく上回る改善を示した。
• 汎用の N-BEATS モデル（TS特有の成分なし）は異種データセット全般で高い性能を示し、深層学習には予測のための手作り特徴量が必要だという見方に挑戦する。
• 解釈可能な構成は、人間が解釈しやすい成分（トレンドと季節性）を明確に生み出し、トレンド成分は単調性を持ち、季節性は周期的であり、同時に競争力のある精度を維持する。
• ホライゾン、指標、入力ウィンドウ長を跨いだ180モデルのアンサンブルは頑健な性能を生み出し、強力な正則化手法として機能する。
• このアーキテクチャは horizon およびデータセットを跨いで共有重みで訓練でき、さまざまな時系列設定に対する一般化とスケーラビリティを示す。