[論文レビュー] Adjusting for Autocorrelated Errors in Neural Networks for Time Series

Fan-Keng Sun, Christopher I. Lang+1 more|arXiv (Cornell University)|Jan 28, 2021

Time Series Analysis and Forecasting参考文献 51被引用数 17

ひとこと要約

本論文は、勾配降下法を用いて誤差の自己相関係数とモデルパラメータを同時に学習することで、時系列データにおけるニューラルネットワークの性能を向上させる手法を提案する。多様なデータセットとアーサテクチャを用いた実験により、予測、回帰、分類、異常検出の各タスクで一貫した性能向上が得られ、調整が必要な際の指針として実証的臨界値が提供されている。

ABSTRACT

An increasing body of research focuses on using neural networks to model time series. A common assumption in training neural networks via maximum likelihood estimation on time series is that the errors across time steps are uncorrelated. However, errors are actually autocorrelated in many cases due to the temporality of the data, which makes such maximum likelihood estimations inaccurate. In this paper, in order to adjust for autocorrelated errors, we propose to learn the autocorrelation coefficient jointly with the model parameters. In our experiments, we verify the effectiveness of our approach on time series forecasting. Results across a wide range of real-world datasets with various state-of-the-art models show that our method enhances performance in almost all cases. Based on these results, we suggest empirical critical values to determine the severity of autocorrelated errors. We also analyze several aspects of our method to demonstrate its advantages. Finally, other time series tasks are also considered to validate that our method is not restricted to only forecasting.

研究の動機と目的

• 時系列データの学習において一般的に見られるが問題となる仮定、すなわち誤差が相関を持たないとみなす仮定に、実世界の誤差に見られる自己相関（変数の省略、測定ノイズ、モデルの不適合などに起因）が存在することを是正する。
• 真のデータ生成過程に関する事前知識が不要な、一般化可能な自己相関誤差の補正手法を開発する。
• 残差の自己相関に対する臨界閾値を実証的に特定し、調整が必要な状況を示す。
• 予測を超えて、回帰、分類、異常検出を含む複数の時系列タスクにおいて、本手法の有効性を検証する。

提案手法

• 誤差の推定自己相関係数 ρ を組み込んだ微分可能損失関数を導入し、勾配降下法を用いてニューラルネットワークパラメータと同時に学習する。
• 標準的最尤推定を、Toeplitz型共分散行列を有する多変量正規分布を用いて一階自己相関を誤差項に組み込むことで修正する。
• バックプロパゲーションを用いたエンドツーエンド学習により、ρ をネットワーク重みと共に最適化可能とし、自己相関誤差の自動検出と是正を可能にする。
• 入力および出力系列の両方に損失関数に適用し、アブレーションスタディにより、同時調整が最大の性能向上をもたらすことを確認した。
• 大規模な実験から得られた実証的臨界値を用いて、残差自己相関の調整が必要な状況を判断するためのガイドラインを導出する。
• 各タスクの予測誤差を自己相関の補正対象となる時系列とみなすことにより、他の時系列タスクへの応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークパラメータと自己相関係数 ρ を同時に学習することで、多様なデータセットとアーサテクチャにおける時系列予測性能が向上するか？
• RQ2 どの実証的閾値が残差自己相関の調整を示唆するか？ そして、それらは実用的ガイドラインとしてどのように利用できるか？
• RQ3 モデルの表現力（例：隠れユニット数が異なるLSTM）が向上するにつれて、自己相関誤差の補正による性能向上はどのように変化するか？
• RQ4 本手法は予測を超えて、回帰、分類、異常検出といった他の時系列タスクにも一般化可能か？
• RQ5 入力系列と出力系列の両方で自己相関を補正する相対的寄与度は？ また、同時に補正することが最適か？

主な発見

• 提案手法は、幅広い実世界のデータセットと最先端のニューラルネットワークアーキテクチャを用いたほぼすべての時系列予測実験で性能向上を達成した。
• モデルの表現力が向上する（例：大規模なLSTMアーキテクチャ）につれて、自己相関補正による相対的向上率は低下し、より複雑なモデルでは補正の必要性が低下することが示唆された。
• 残差自己相関の実証的臨界値が特定され、調整が必要かどうかを判断する実用的閾値としての役割を果たすことがわかった。
• アブレーションスタディにより、入力および出力系列の両方で自己相関を補正すると最大の性能向上が得られ、個別に補正する場合でも小さなが有益な改善が得られた。
• 回帰、分類、無教師異常検出を含む複数の時系列タスクにおいて、本手法は性能を維持または向上させ、広範な適用可能性を示した。
• モデルがすでに非常に表現力が高く、適切に指定されている場合には、残差自己相関が小さくなるため、本手法の有効性は低下するが、真のデータ生成過程が未知である現実世界の状況では依然として有益である。