[论文解读] Eigenvalue Decay Implies Polynomial-Time Learnability for Neural Networks

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|Aug 11, 2017

Machine Learning and Algorithms参考文献 38被引用 7

一句话总结

本文证明了输入数据的Gram矩阵中的特征值衰减可使深层神经网络在广义（不可实现）设定下实现多项式时间可学习性。通过利用核方法和Nyström采样，作者表明强特征值衰减可降低对模型复杂度的依赖，从而在无需结构假设的情况下，为ReLU和Sigmoid网络提供高效算法。

ABSTRACT

We consider the problem of learning function classes computed by neural networks with various activations (e.g. ReLU or Sigmoid), a task believed to be computationally intractable in the worst-case. A major open problem is to understand the minimal assumptions under which these classes admit provably efficient algorithms. In this work we show that a natural distributional assumption corresponding to {\em eigenvalue decay} of the Gram matrix yields polynomial-time algorithms in the non-realizable setting for expressive classes of networks (e.g. feed-forward networks of ReLUs). We make no assumptions on the structure of the network or the labels. Given sufficiently-strong polynomial eigenvalue decay, we obtain {\em fully}-polynomial time algorithms in {\em all} the relevant parameters with respect to square-loss. Milder decay assumptions also lead to improved algorithms. This is the first purely distributional assumption that leads to polynomial-time algorithms for networks of ReLUs, even with one hidden layer. Further, unlike prior distributional assumptions (e.g., the marginal distribution is Gaussian), eigenvalue decay has been observed in practice on common data sets.

研究动机与目标

• 确定使广义（不可实现）设定下深层神经网络实现多项式时间可学习性的最小分布假设。
• 通过引入一种基于经验的新型条件——Gram矩阵的特征值衰减，克服在最坏情况假设下学习深层网络的计算不可行性。
• 证明特征值衰减可改善样本复杂度和运行时间，即使对于如深层ReLU架构等高表达能力的网络亦然。
• 表明该假设在实践中可观测且在理论上足以实现高效学习，与以往假设（如高斯边缘分布）相比更具优势。
• 建立特征值衰减与算法可计算性之间的联系，类似于幂律图在网络科学中促进高效解法的作用。

提出的方法

• 作者利用已知的核构造方法，将神经网络函数类嵌入到再生核希尔伯特空间（RKHS）中。
• 在归一化Gram矩阵 $ K/m $ 的特征值满足 $ \rho_i \to O(i^{-p}) $（$ i $ 较大时）的假设下分析核岭回归问题，其中 $ p $ 控制衰减速率。
• 使用Nyström采样作为压缩方案，降低核问题的有效维度，从而实现高效计算。
• 样本复杂度推导为 $ m = \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $，其中 $ B $ 为RKHS范数上界，$ \epsilon $ 为误差容限。
• 对于指数衰减 $ \lambda_i \approx O(e^{-i}) $，样本复杂度简化为 $ \tilde{O}(\log B / \epsilon^2) $，从而实现完全多项式时间算法。
• 该方法适用于ReLU和Sigmoid网络，其衰减要求由权重范数和激活函数的结构界推导得出。

实验结果

研究问题

• RQ1 Gram矩阵的特征值衰减是否可作为深层神经网络实现多项式时间可学习性的充分条件？
• RQ2 与经典分布假设（如高斯边缘分布）相比，特征值衰减在实际相关性和算法效率方面有何差异？
• RQ3 ReLU和Sigmoid网络实现高效学习所需的最小特征值衰减速率是多少？
• RQ4 该假设是否可在不可实现设定下导致完全多项式时间算法，而无需可实现性或结构约束？
• RQ5 衰减速率如何影响不同深度和宽度的网络的样本复杂度和运行时间？

主要发现

• 对于多项式特征值衰减 $ \lambda_i \approx O(i^{-p}) $，样本复杂度为 $ \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $，当 $ p $ 足够大时，该复杂度在所有参数下均为多项式。
• 对于指数衰减 $ \lambda_i \approx O(e^{-i}) $，样本复杂度降低为 $ \tilde{O}(\log B / \epsilon^2) $，从而实现完全多项式时间算法。
• 对于单个ReLU在 $ \mathbb{S}^{n-1} $ 上，当 $ B = 2^{\tau/\epsilon} $ 且 $ p \geq \xi/\epsilon $ 时，即可实现多项式时间可学习性。
• 对于大小为 $ \ell $ 的单隐藏层ReLU网络，$ O(i^{-\ell/\epsilon}) $ 的特征值衰减足以实现多项式时间可学习性。
• 对于Sigmoid网络，所需衰减为 $ O(i^{-\sqrt{\ell} \log(\sqrt{\ell}/\epsilon)}) $，反映出更高的复杂度。
• 结果在平方损失的广义设定下成立，且算法运行时间在 $ \mathsf{poly}(n, 1/\epsilon, \log(1/\delta)) $ 范围内。