[论文解读] A Corrective View of Neural Networks: Representation, Memorization and Learning

Guy Bresler, Nagaraj, Dheeraj|arXiv (Cornell University)|Feb 1, 2020

Neural Networks and Applications参考文献 44被引用 8

一句话总结

本文提出了一种校正神经网络框架，通过将ReLU及其平滑版本的单元分组，迭代地在后续层中修正误差，从而逐步改进函数逼近。该研究证明，两层网络可使用Õ(n/θ⁴)个神经元实现任意数据的记忆化，且在样本复杂度低于多项式级别的情况下学习低次多项式，挑战了深度在平滑函数表示与学习中不可或缺的既有假设。

ABSTRACT

We develop a corrective mechanism for neural network approximation: the total available non-linear units are divided into multiple groups and the first group approximates the function under consideration, the second group approximates the error in approximation produced by the first group and corrects it, the third group approximates the error produced by the first and second groups together and so on. This technique yields several new representation and learning results for neural networks. First, we show that two-layer neural networks in the random features regime (RF) can memorize arbitrary labels for arbitrary points under under Euclidean distance separation condition using $ ilde{O}(n)$ ReLUs which is optimal in $n$ up to logarithmic factors. Next, we give a powerful representation result for two-layer neural networks with ReLUs and smoothed ReLUs which can achieve a squared error of at most $ε$ with $O(C(a,d)ε^{-1/(a+1)})$ for $a \in \mathbb{N}\cup\{0\}$ when the function is smooth enough (roughly when it has $Θ(ad)$ bounded derivatives). In certain cases $d$ can be replaced with effective dimension $q \ll d$. Previous results of this type implement Taylor series approximation using deep architectures. We also consider three-layer neural networks and show that the corrective mechanism yields faster representation rates for smooth radial functions. Lastly, we obtain the first $O(\mathrm{subpoly}(1/ε))$ upper bound on the number of neurons required for a two layer network to learn low degree polynomials up to squared error $ε$ via gradient descent. Even though deep networks can express these polynomials with $O(\mathrm{polylog}(1/ε))$ neurons, the best learning bounds on this problem require $\mathrm{poly}(1/ε)$ neurons.

研究动机与目标

• 开发一种神经网络逼近的校正机制，以提升表示与学习效率。
• 探究深度是否真正必要于平滑函数的表示，挑战深度学习理论中的既有假设。
• 为两层随机特征网络中使用梯度下降学习低次多项式提供学习保证。
• 建立基于ReLU网络在高维空间中对任意标签进行记忆化的最优界。
• 证明平滑ReLU单元相比标准ReLU在平滑函数逼近效率上具有显著提升。

提出的方法

• 将非线性单元划分为连续组别：第一组逼近目标函数，第二组修正其误差，依此类推，形成校正层级结构。
• 在随机特征设定下使用ReLU与平滑ReLU激活函数，以获得泛化与记忆化界。
• 结合傅里叶分析与Sobolev空间假设，基于函数光滑性与导数衰减特性来界定逼近误差。
• 在低维子空间上采用随机采样程序，以高效估计高维函数。
• 利用集中不等式与期望界，证明对多个随机网络的平均可降低泛化误差。
• 通过bump函数与正交投影，在有效维度q ≪ d的子空间上实现逼近的局部化与平滑化。

实验结果

研究问题

• RQ1 两层ReLU网络是否能通过ReLU与平滑ReLU单元以次最优宽度缩放实现对任意标签的最优记忆化？
• RQ2 深度是否真正必要于平滑函数的高效表示，还是浅层网络可达到深层网络的性能？
• RQ3 在两层随机特征网络中，对重组权重使用梯度下降是否能实现学习低次多项式时的次多项式（subpoly(1/ε)）样本复杂度？
• RQ4 有效维度q < d如何影响具有有界导数函数的逼近效率？
• RQ5 在使用校正训练方案时，平滑函数的网络宽度与逼近误差之间最优权衡为何？

主要发现

• 两层ReLU网络可在ℝᵈ中以Õ(n/θ⁴)个神经元实现对n个任意点的记忆化，其中θ为点间最小距离，且该界在对数因子范围内为最优。
• 对于具有Θ(ad)有界导数的函数，两层网络使用ReLU与平滑ReLU单元可实现ε-逼近，所需神经元数为O(C(a,d)ε⁻¹ᐟ⁽ᵃ⁺¹⁾)，其中d可降低至有效维度q ≪ d。
• 在两层随机特征网络中，对重组权重使用梯度下降可实现低次多项式的子多项式（subpoly(1/ε)）数量级的单位数，以达到平方误差ε，这是首个此类保证。
• 理论结果表明，深度并非平滑函数高效表示的必要条件，与深度学习理论中的常见假设相矛盾。
• 使用平滑ReLU单元可获得更紧的逼近界并提升泛化性能，尤其在高维设置下有效维度较低时表现更优。
• 通过投影至低维子空间并使用局部化bump函数，该方法在显著减少参数量的同时实现了高精度逼近。