[論文レビュー] Fast learning rate of deep learning via a kernel perspective

Taiji Suzuki|arXiv (Cornell University)|May 29, 2017

Gaussian Processes and Bayesian Inference参考文献 40被引用数 5

ひとこと要約

本論文は、有限幅の深層ニューラルネットワークを無限次元の再生核ヒルベルト空間（RKHS）の有限近似として扱うことで、深層学習の一般化を核に基づく理論枠組みで分析する。各層のRKHSの自由度と一般化誤差を関連付けることで、通常の$O(1/\sqrt{n})$より速い学習率を、Empirical Risk Minimization（ERM）およびベイジアン深層学習の両方で導出。ネットワーク幅選択におけるバイアス・バリアンスのトレードオフを明らかにした。

ABSTRACT

We develop a new theoretical framework to analyze the generalization error of deep learning, and derive a new fast learning rate for two representative algorithms: empirical risk minimization and Bayesian deep learning. The series of theoretical analyses of deep learning has revealed its high expressive power and universal approximation capability. Although these analyses are highly nonparametric, existing generalization error analyses have been developed mainly in a fixed dimensional parametric model. To compensate this gap, we develop an infinite dimensional model that is based on an integral form as performed in the analysis of the universal approximation capability. This allows us to define a reproducing kernel Hilbert space corresponding to each layer. Our point of view is to deal with the ordinary finite dimensional deep neural network as a finite approximation of the infinite dimensional one. The approximation error is evaluated by the degree of freedom of the reproducing kernel Hilbert space in each layer. To estimate a good finite dimensional model, we consider both of empirical risk minimization and Bayesian deep learning. We derive its generalization error bound and it is shown that there appears bias-variance trade-off in terms of the number of parameters of the finite dimensional approximation. We show that the optimal width of the internal layers can be determined through the degree of freedom and the convergence rate can be faster than $O(1/\sqrt{n})$ rate which has been shown in the existing studies.

研究の動機と目的

• 有限次元の深層学習と無限次元の非パラメトリックモデルの間の理論的ギャップを埋める。
• 核法を用いて深層学習における一般化誤差を統一的に分析する枠組みを構築すること。
• 深層ネットワークを無限次元のRKHSの有限近似としてモデル化することで、標準の$O(1/\sqrt{n})$より速い学習率を導出すること。
• 対応するRKHSの自由度を通じて、隠れ層の最適幅を特徴づけること。

提案手法

• 深層ニューラルネットワークの各層を再生核ヒルベルト空間（RKHS）内の関数としてモデル化し、無限次元解析を可能にする。
• 各層のRKHSの自由度を定義し、有限幅ネットワークにおける近似誤差を定量化する。
• ラデマッハ複雑度と被覆数を用いた核ベースの一般化境界を適用し、経験的リスクと真のリスクの乖離を制御する。
• ベルシュタインの不等式と対称化を用いて推定誤差と一般化ギャップを境界付ける。
• 全パラメータ数$\sum_{\ell=1}^{L} m_\ell m_{\ell+1}$、RKHSノルム$\hat{R}_{\infty}$、ノイズレベル$\sigma$に依存する一般化誤差境界を導出。対数項はモデルの複雑さを反映する。
• RKHS自由度による近似誤差と標本サイズ$n$による推定誤差のバランスを取ることで、バイアス・バリアンスのトレードオフを確立する。

実験結果

リサーチクエスチョン

• RQ1 核ベースの枠組みは、深層学習における一般化誤差率を標準の$O(1/\sqrt{n})$より速くできるか？
• RQ2 各層に関連するRKHSの自由度は、有限幅の深層ネットワークの一般化性能にどのように影響するか？
• RQ3 一般化誤差を最小化するための隠れ層の最適幅は何か？ それはRKHS構造をどのように決定するか？
• RQ4 提案された枠組みは、有限次元の深層学習と無限次元の非パラメトリックモデルをどのように統一するか？
• RQ5 Empirical Risk Minimization（ERM）およびベイジアン深層学習の両方において、この核ベースの解析によってより速い収束率が達成可能か？

主な発見

• 本論文は、$O(\alpha(\hat{R}_{\infty}) + \alpha(\sigma) + \frac{\log n + r}{n})$とスケーリングする一般化誤差境界を導出。ここで$\alpha(U)$は自由度を介してRKHSの複雑さを捉え、$O(1/\sqrt{n})$より速い収束を示す。
• ネットワーク幅がRKHS自由度に基づいて最適に選ばれた場合、学習率は$O(1/\sqrt{n})$より速くなる。これは、より高い標本効率を示唆する。
• 内部層の最適幅は、RKHS自由度による近似誤差と標本サイズ$n$による推定誤差のバランスを取ることで決定され、バイアス・バリアンスのトレードオフが明らかになる。
• 一般化誤差境界には、$\alpha(\hat{R}_{\infty}) = \hat{R}_{\infty}^2 \cdot \frac{\sum m_\ell m_{\ell+1}}{n} \log_+\left(1 + \frac{4\sqrt{n}\hat{G}\max\{\bar{R},\bar{R}_b\}}{\hat{R}_{\infty}\sqrt{\sum m_\ell m_{\ell+1}}}\right)$という項が含まれ、収束率を支配する。
• 境界は高確率$1 - \exp(-r) - \exp(-\tilde{r}'^2 n \hat{\delta}_{1,n}^2 / \hat{R}_{\infty}^2)$で成り立つ。これはモデルの不適合に対してもロバストであることを示す。
• この枠組みは、Empirical Risk Minimization（ERM）およびベイジアン深層学習の両方に対して一様に適用可能であり、核ベースのアプローチの一般性を示している。