[论文解读] Fast learning rate of deep learning via a kernel perspective

Taiji Suzuki|arXiv (Cornell University)|May 29, 2017

Gaussian Processes and Bayesian Inference参考文献 40被引用 5

一句话总结

本文提出了一种基于核函数的理论框架，用于分析深度学习的泛化性能，将有限宽度的深度神经网络视为无限维再生核希尔伯特空间（RKHS）的有限近似。通过将泛化误差与每一层RKHS的自由度相关联，该框架推导出经验风险最小化和贝叶斯深度学习的收敛速度优于$O(1/\sqrt{n})$，揭示了在选择网络宽度时存在的偏差-方差权衡。

ABSTRACT

We develop a new theoretical framework to analyze the generalization error of deep learning, and derive a new fast learning rate for two representative algorithms: empirical risk minimization and Bayesian deep learning. The series of theoretical analyses of deep learning has revealed its high expressive power and universal approximation capability. Although these analyses are highly nonparametric, existing generalization error analyses have been developed mainly in a fixed dimensional parametric model. To compensate this gap, we develop an infinite dimensional model that is based on an integral form as performed in the analysis of the universal approximation capability. This allows us to define a reproducing kernel Hilbert space corresponding to each layer. Our point of view is to deal with the ordinary finite dimensional deep neural network as a finite approximation of the infinite dimensional one. The approximation error is evaluated by the degree of freedom of the reproducing kernel Hilbert space in each layer. To estimate a good finite dimensional model, we consider both of empirical risk minimization and Bayesian deep learning. We derive its generalization error bound and it is shown that there appears bias-variance trade-off in terms of the number of parameters of the finite dimensional approximation. We show that the optimal width of the internal layers can be determined through the degree of freedom and the convergence rate can be faster than $O(1/\sqrt{n})$ rate which has been shown in the existing studies.

研究动机与目标

• 弥合有限维深度学习与无限维非参数模型之间的理论鸿沟。
• 开发一个统一的框架，利用核方法分析深度学习中的泛化误差。
• 通过将深度网络建模为无限维RKHS的有限近似，推导出快于标准$O(1/\sqrt{n})$的泛化误差收敛速率。
• 通过对应RKHS的自由度表征隐藏层的最优宽度。

提出的方法

• 将深度神经网络的每一层建模为再生核希尔伯特空间（RKHS）中的一个函数，从而实现无限维分析。
• 定义每层RKHS的自由度，以量化有限宽度网络中的近似误差。
• 使用Rademacher复杂度和覆盖数，基于核方法建立泛化误差界，以控制经验风险与真实风险之间的偏差。
• 利用Bernstein不等式和对称化方法，界定向估计误差和泛化差距。
• 推导出依赖于总参数量$\sum_{\ell=1}^{L} m_\ell m_{\ell+1}$、RKHS范数$\hat{R}_{\infty}$以及噪声水平$\sigma$的泛化误差界，对数项反映了模型复杂度。
• 通过平衡近似误差（通过RKHS自由度）与估计误差（通过样本量$n$），建立偏差-方差权衡。

实验结果

研究问题

• RQ1 基于核函数的框架能否在深度学习中提供快于标准$O(1/\sqrt{n})$的泛化误差收敛速率？
• RQ2 与各层相关的RKHS自由度如何影响有限宽度深度网络的泛化性能？
• RQ3 隐藏层的最优宽度是什么，如何通过RKHS结构确定以最小化泛化误差？
• RQ4 所提出的框架如何统一有限维深度学习与无限维非参数模型？
• RQ5 在该核函数分析下，经验风险最小化和贝叶斯深度学习是否都能实现更快的收敛速率？

主要发现

• 本文推导出的泛化误差界具有$O(\alpha(\hat{R}_{\infty}) + \alpha(\sigma) + \frac{\log n + r}{n})$的尺度，其中$\alpha(U)$通过自由度捕捉RKHS的复杂度，从而实现快于$O(1/\sqrt{n})$的收敛速度。
• 当网络宽度基于RKHS自由度最优选择时，学习速率快于$O(1/\sqrt{n})$，表明样本效率更高。
• 内部层的最优宽度通过平衡近似误差（通过RKHS自由度）与估计误差（通过样本量$n$）确定，揭示了偏差-方差权衡。
• 泛化误差界中包含一项$\alpha(\hat{R}_{\infty}) = \hat{R}_{\infty}^2 \cdot \frac{\sum m_\ell m_{\ell+1}}{n} \log_+\left(1 + \frac{4\sqrt{n}\hat{G}\max\{\bar{R},\bar{R}_b\}}{\hat{R}_{\infty}\sqrt{\sum m_\ell m_{\ell+1}}}\right)$，该部分控制收敛速率。
• 该界以高概率$1 - \exp(-r) - \exp(-\tilde{r}'^2 n \hat{\delta}_{1,n}^2 / \hat{R}_{\infty}^2)$成立，表明在模型误设情况下仍具鲁棒性。
• 该框架可统一适用于经验风险最小化和贝叶斯深度学习，展示了核方法的普适性。