[論文レビュー] Forecasting time series with encoder-decoder neural networks

Nathawut Phandoidaen, Stefan Richter|arXiv (Cornell University)|Sep 18, 2020

Neural Networks and Applications参考文献 19被引用数 7

ひとこと要約

本稿は、高次元時系列予測のためのエンコーダ・デコーダニューラルネットワークを提案し、過去の観測値の変化を圧縮された潜在表現を通してモデル化する。構造的およびスパarsity仮定のもとで、関数的依存度測度または絶対的正則な混合係数を用いて、期待予測誤差における新しいオラクル型不等式および上界を確立し、標準の非パラメトリック手法に比べて次元の呪いを著しく軽減した収束速度を達成する。

ABSTRACT

In this paper, we consider high-dimensional stationary processes where a new observation is generated from a compressed version of past observations. The specific evolution is modeled by an encoder-decoder structure. We estimate the evolution with an encoder-decoder neural network and give upper bounds for the expected forecast error under specific structural and sparsity assumptions. The results are shown separately for conditions either on the absolutely regular mixing coefficients or the functional dependence measure of the observed process. In a quantitative simulation we discuss the behavior of the network estimator under different model assumptions. We corroborate our theory by a real data example where we consider forecasting temperature data.

研究の動機と目的

• 非パラメトリック時系列予測における次元の呪いを、構造的エンコーダ・デコーダニューラルネットワークを導入することで解決すること。
• 強いパラメトリック仮定を避ける弱依存条件の下で、期待予測誤差に対する理論的上界を導出すること。
• 独立同分布（i.i.d.）設定からの既存結果を、関数的依存度測度または混合係数を用いて依存する高次元時系列に一般化すること。
• 特にネットワークアーキテクチャと訓練サンプルサイズ要件に関する、ニューラルネットワーク設計の理論的裏付けを提供すること。

提案手法

• 時系列の進化を $ X_{r+1} = f_0(X_{r},...,X_{1}) + \varepsilon_{r+1} $ としてモデル化し、$ f_0 $ をエンコーダ・デコーダ構造を持つニューラルネットワークで推定する。
• 構造的仮定を課し、$ f_0 $ が $ r $ 時刻前の履歴を低次元の潜在空間に圧縮した後、次回の観測値を復元するように設計する。
• ニューラルネットワーク推定量 $ \hat{f}^{\text{net}} $ を用いて $ f_0 $ を近似し、誤差は加重平均二乗予測誤差 $ \mathbb{E}D(\hat{f}) $ で測定する。
• 時系列の依存性を定量化するために、関数的依存度測度（FDM）および絶対的正則な混合係数を用いる。
• これらの依存性枠組みの下で、近似誤差と推定誤差を統合したオラクル型不等式を導出する。
• 非パラメトリック近似理論と集中不等式を用いて過剰リスクをバインドし、エンコーダ・デコーダ構造を活用して次元の呪いを回避する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ・デコーダニューラルネットワークは、高次元時系列予測において、標準の非パラメトリック推定量よりも高速な収束速度を達成できるか？
• RQ2 弱依存仮定の下で、期待予測誤差に対する理論的保証はどのように得られるか？
• RQ3 関数的依存度測度と絶対的正則な混合係数は、ニューラルネットワーク推定量の収束速度にどのように影響するか？
• RQ4 エンコーダ・デコーダ構造は、有効次元をどの程度低減させ、推定効率を向上させるか？

主な発見

• 本稿は、関数的依存度測度または混合係数の下で、依存する高次元時系列における予測誤差に対する、初めてのオラクル型不等式を確立した。
• エンコーダ・デコーダ構造のもとでは、次元の呪いに苦しむ標準の非パラメトリック手法に比べ、ニューラルネットワーク推定量の収束速度が著しく向上する。
• 期待予測誤差の上界は $ O(n^{-\frac{2\beta}{2\beta + d r}}) $ のオーダーであるが、スパarsityおよび構造的仮定のもとで、より高速な収束率が達成可能である。
• 理論的結果から、必要な訓練サンプル数が入力次元ではなくエンコーダの潜在次元に比例して良好にスケーリングされることを示した。
• シミュレーションスタディにより、真の関数が低次元の潜在構造を持つ場合に特に、ネットワーク推定量が良好に動作することが確認された。
• 気温予測に関する実データ例から、本手法が長期間にわたり安定的かつ高精度な予測を達成できることを示した。