[论文解读] Approximation and Estimation for High-Dimensional Deep Learning Networks

Andrew R. Barron, Jason M. Klusowski|arXiv (Cornell University)|Sep 10, 2018

Machine Learning and Algorithms参考文献 35被引用 42

一句话总结

本论文推导了带有 L1 型权重控制的深度 ramp 网络的风险（均方误差）界，显示出近似极小极大速率，这些速率依赖于 log d 和深度 L，而非直接依赖参数数量。

ABSTRACT

It has been experimentally observed in recent years that multi-layer artificial neural networks have a surprising ability to generalize, even when trained with far more parameters than observations. Is there a theoretical basis for this? The best available bounds on their metric entropy and associated complexity measures are essentially linear in the number of parameters, which is inadequate to explain this phenomenon. Here we examine the statistical risk (mean squared predictive error) of multi-layer networks with $\ell^1$-type controls on their parameters and with ramp activation functions (also called lower-rectified linear units). In this setting, the risk is shown to be upper bounded by $[(L^3 \log d)/n]^{1/2}$, where $d$ is the input dimension to each layer, $L$ is the number of layers, and $n$ is the sample size. In this way, the input dimension can be much larger than the sample size and the estimator can still be accurate, provided the target function has such $\ell^1$ controls and that the sample size is at least moderately large compared to $L^3\log d$. The heart of the analysis is the development of a sampling strategy that demonstrates the accuracy of a sparse covering of deep ramp networks. Lower bounds show that the identified risk is close to being optimal.

研究动机与目标

• 激发并量化为什么深度网络在参数数量多于样本的高维设置下仍能很好泛化。
• 引入并形式化多层网络的变异与平均变异概念以捕捉复杂性。
• 发展稀疏近似量和覆盖数界来平衡估计误差与模型复杂性。
• 在 L1 型权重控制和 ramp 激活下建立网络的风险界限。
• 在所提出框架下展示近似最优的极小极大速率。

提出的方法

• 用 ramp 激活和非负（或符号处理过的）权重对深度网络进行建模。
• 定义网络变异 V_L 与子网络变异 V_j^out、V_j^in，以及平均变动 1overline{V} 来量化规模。
• 通过乘积结构的权重表示来表达 f(W,x) 并引入权重的 Markov 风格分解 a_{j1,...,jL}。
• 通过固定基数 M 的随机表示覆盖来构造稀疏近似量，从而给出覆盖数的界。
• 证明主风险界：对复合变异 v = 1overline{V} sqrt{V}，在合适的概率测度下，平方误差的量级为 (L v / sqrt{M})^2。

实验结果

研究问题

• RQ1 在参数范数受控的情况下，带 ramp 激活的深度网络的理论风险保证是什么？
• RQ2 如何量化并利用网络变异以实现稀疏近似并获得有利的泛化界？
• RQ3 我们是否能够构造具有可证明覆盖数界的稀疏网络近似，从而产生类似极小极大速率？
• RQ4 在 L1 型惩罚下，深度 L 与输入维度 d 如何影响学习风险？

主要发现

• 对所考察的类别，风险界被上界为 [(L^3 log d)/n]^{1/2}，在给定合适的 L 与 log d 因子时，即使 d 相对于 n 很大也能实现准确估计。
• 稀疏覆盖论证给出一个子族，其对数基数至多为 (L-2)M log(min{d_bar, 2M}) + M log(8e d_in)。
• 主定理给出该类别内任意 f(W,x) 的误差界，变异为 v = overline{V} sqrt{V}，在所提出框架下展示近似极小极大速率。
• 下界表明所识别的风险在所定义的模型类内接近最优。
• 可表征性和类守恒的规范形式平衡了层间权重流动，以便分析并收紧界。
• 该方法强调基于变异的复杂性控制，而非基于参数计数的度量，解决高维泛化现象。