[論文レビュー] On the rate of convergence of fully connected very deep neural network regression estimates

Michael Köhler, Sophie Langer|arXiv (Cornell University)|Aug 29, 2019

Neural Networks and Applications参考文献 23被引用数 18

ひとこと要約

この論文は、ReLU活性化関数を用いた完全結合型深層ニューラルネットワーク回帰推定器の最適収束速度を確立し、滑らかさの条件下で、深さを増す（層を増やす）および広がりを増す（層ごとのニューロン数を増やす）両方のアーキテクチャが、ネットワークのスパarsityを要件としないまま高速な収束速度を達成できることを示している。これにより、次元の呪いを回避できる。主な貢献は、これらの収束結果を可能にする、深層ReLUネットワークのための新しい近似理論である。

ABSTRACT

Recent results in nonparametric regression show that deep learning, i.e., neural network estimates with many hidden layers, are able to circumvent the so-called curse of dimensionality in case that suitable restrictions on the structure of the regression function hold. One key feature of the neural networks used in these results is that their network architecture has a further constraint, namely the network sparsity. In this paper we show that we can get similar results also for least squares estimates based on simple fully connected neural networks with ReLU activation functions. Here either the number of neurons per hidden layer is fixed and the number of hidden layers tends to infinity suitably fast for sample size tending to infinity, or the number of hidden layers is bounded by some logarithmic factor in the sample size and the number of neurons per hidden layer tends to infinity suitably fast for sample size tending to infinity. The proof is based on new approximation results concerning deep neural networks.

研究の動機と目的

• 完全結合型深層ニューラルネットワークにReLU活性化関数を用いた場合、ネットワークのスパarsityを要件としない非パラメトリック回帰で高速な収束速度を達成できるかどうかを調査すること。
• 回帰関数の滑らかさに関する仮定の下で、完全結合型深層ネットワークに基づく最小二乗推定器の理論的収束速度を確立すること。
• 高次元設定における収束解析を支援する、深層ReLUネットワークのための新しい近似結果を開発すること。
• 適切なスケーリングのもとで、深さの増加と広がりの増加（両方）が最適な収束速度をもたらすことを示すこと。

提案手法

• 論文は、乗算と活性化関数の再帰的合成を用いて、入力の積や単項式を制御された誤差で近似する深層ReLUネットワークアーキテクチャを構築する。
• 「$ R \cdot \lceil \log_2(N+1) \rceil $」層および「18(N+1)」個のニューロンを1層に持つReLUネットワークが、単項式 $ \prod_{k=1}^d (x^{(k)})^{r_k} $ を誤差 $ 4 \cdot 4^{4(N+1)} \cdot a^{4(N+1)} \cdot (N+1) \cdot 4^{-R} $ 以内で近似できることを証明する。
• 近似誤差は層数 $ R $ に依存しており、固定された幅のもとで、より深いネットワークが指数的に小さい誤差をもたらすことが示されている。
• 近似誤差のバウンドと統計的リスクバウンドを組み合わせることで、ニューラルネットワーク推定器の収束速度が導出され、$ L_2 $-リスクの収束速度が得られる。
• 2つの状況を検討する：(1) 幅を固定して深さを増す場合、(2) 幅を増やして深さを対数的に増やす場合。両方とも最適な収束速度を達成する。
• 再帰的ネットワーク構築法（乗算と合成のため）に依存しており、ReLU活性化関数の分段的線形関数表現能力と指数的表現力の両方を活用している。

実験結果

リサーチクエスチョン

• RQ1 完全結合型深層ニューラルネットワークにReLU活性化関数を用いた場合、スパarsity制約なしに非パラメトリック回帰で高速な収束速度を達成できるか？
• RQ2 完全結合型ReLUネットワークにおいて、$ L_2 $-リスクを最小化するための深さと広がりの最適なトレードオフは何か？
• RQ3 高次元単項式を制御された誤差で近似できるように、深層ReLUネットワークはどのように設計できるか？これにより滑らかな回帰関数の高速近似が可能になる。
• RQ4 滑らかさの仮定が成り立つ回帰関数に対して、深層完全結合ネットワークは次元の呪いを回避できるか？

主な発見

• この論文は、スパarsity制約なしに完全結合型深層ReLUネットワークが非パラメトリック回帰で最適な収束速度を達成できることを確立している。
• 滑らかさパラメータ $ s $ を持つ Hölder 現象に属する回帰関数に対して、ニューラルネットワーク推定器の $ L_2 $-リスクは $ n^{-\frac{2s}{2s+d}} $ の速度で収束し、これはミニマックス最適速度と一致する。
• $ d $ 変数における次数 $ N $ の単項式の近似誤差は、$ R $ を再帰的乗算ネットワークに使用する層数として、$ C \cdot 4^{-R} $ で抑えられる。
• ネットワーク構築法により、深さに伴い誤差が指数的に減少し、固定幅のもとで深さを増すことで高速な収束が達成されることを示している。
• サンプルサイズ $ n $ に応じて幅を増やし、深さを $ \log n $ で制限した場合でも、推定器は依然として最適な収束速度を達成する。これは、幅が制限された深さを補完できることを示している。
• 回帰関数が合成的または階層的構造を持つ場合、完全結合アーキテクチャであっても次元の呪いが回避されることを示している。