[論文レビュー] Theoretical analysis of deep neural networks for temporally dependent observations

Mingliang Ma, Abolfazl Safikhani|arXiv (Cornell University)|Oct 20, 2022

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿は、時系列依存性を持つ時系列データに対して、ReLU活性化関数を用いた深層フィードフォワードニューラルネットワークの非漸近的予測誤差バウンドを確立する。混合型の依存性仮定の下で、独立データと比較して収束速度に追加の log⁴(n) 要因が含まれ、非線形時系列モデリングにおけるニューラルネットワーク性能への時系列依存性の影響を定量化する。

ABSTRACT

Deep neural networks are powerful tools to model observations over time with non-linear patterns. Despite the widespread use of neural networks in such settings, most theoretical developments of deep neural networks are under the assumption of independent observations, and theoretical results for temporally dependent observations are scarce. To bridge this gap, we study theoretical properties of deep neural networks on modeling non-linear time series data. Specifically, non-asymptotic bounds for prediction error of (sparse) feed-forward neural network with ReLU activation function is established under mixing-type assumptions. These assumptions are mild such that they include a wide range of time series models including auto-regressive models. Compared to independent observations, established convergence rates have additional logarithmic factors to compensate for additional complexity due to dependence among data points. The theoretical results are supported via various numerical simulation settings as well as an application to a macroeconomic data set.

研究の動機と目的

• 非線形時系列に時系列依存性を含む文脈における深層ニューラルネットワークの理論的基盤の不足に対処すること。
• 従来、独立観測の下で得られた収束速度の結果を、依存的で stationarity な時系列データの設定へと拡張すること。
• 時系列依存性が、ReLU活性化関数を用いたスパースフィードフォワードアーキテクチャの深層ニューラルネットワークにおける予測誤差レートに与える影響を定量化すること。
• シミュレーションとマクロ経済データへの応用を通じて理論的知見を検証し、実用的関連性を示すこと。

提案手法

• 混合型依存性仮定の下で、ReLU活性化関数を用いたスパースフィードフォワードニューラルネットワークの非漸近的予測誤差バウンドを導出する。
• 統計的リスクフレームワークを用いて、期待二乗予測誤差を分析し、近似誤差と推定誤差の成分を組み込む。
• Wold分解を用いて、一般の stationarity 時系列モデルへの結果の拡張を図り、収束速度とAR(∞)係数の減衰率を関連付ける。
• エントロピーに基づく技術とカバー数を用いて関数クラスの複雑さを制御し、log N_n が dL log n に比例するように制限する。
• 過去の観測値を埋め込み、深さとスパarsityを活用することで真の回帰関数を近似するニューラルネットワークアーキテクチャを提案する。
• 2段階の議論により収束速度を確立する：係数の減衰によって近似誤差をバウンドし、依存性による log⁴(n) 要因によって推定誤差をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 時系列データにおける時系列依存性は、深層ニューラルネットワークの予測誤差収束速度にどのように影響するか？
• RQ2 混合条件のような弱い依存性仮定のもとで、深層ニューラルネットワークの理論的予測誤差バウンドを確立できるか？
• RQ3 AR(∞)係数の減衰率が、非線形時系列におけるニューラルネットワーク推定量の収束速度に与える影響は何か？
• RQ4 依存性に起因する対数因子の含み方が、独立な場合と比較して収束速度にどのように影響するか？
• RQ5 理論的予測が、シミュレーションおよび実世界のマクロ経済予測において、実証的性能とどの程度一致するか？

主な発見

• 時系列依存性を持つデータにおける深層ニューラルネットワークの予測誤差収束速度には、独立な場合と比較して追加の log⁴(n) 要因が含まれ、依存性に起因する複雑性の増加を反映している。
• 混合条件の下で、ニューラルネットワーク推定量の統計的リスクは、独立な場合と比較して log⁴(n) の乗法的要因を除き一致し、理論的一貫性を確立する。
• AR(∞)表現を持つ時系列では、係数 φ_i の減衰率が近似誤差を決定する；より速い減衰はより良い収束速度をもたらす。
• 係数の減衰が指数 α で多項式的である場合、最適な収束速度は O(n⁻α/(α+1)) であり、適切なネットワークの深さと幅の選択によって達成可能である。
• 実証的結果では、深層ニューラルネットワークが線形および非線形ARモデルにおいてLSTMと同等の性能を示し、予測誤差に統計的に有意な差は認められない。
• 理論的バウンドは、シミュレーションおよび実際のマクロ経済データセットによって支持され、時系列予測におけるモデルの頑健性と実用的関連性を確認する。