[论文解读] Learning Deep ReLU Networks Is Fixed-Parameter Tractable

Sitan Chen, Adam R. Klivans+1 more|arXiv (Cornell University)|Sep 28, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用 5

一句话总结

本文提出了首个在高斯输入下学习深度ReLU网络的固定参数可满足算法，实现维度上的多项式时间复杂度，且仅对网络参数（如深度、大小、谱范数和Lipschitz常数）呈现指数依赖。该方法引入了一种基于热带几何的滤波主成分分析（PCA）技术，以恢复隐藏层子空间，从而在梯度方法失效的情况下实现有效学习。

ABSTRACT

We consider the problem of learning an unknown ReLU network with respect to Gaussian inputs and obtain the first nontrivial results for networks of depth more than two. We give an algorithm whose running time is a fixed polynomial in the ambient dimension and some (exponentially large) function of only the network's parameters. Our bounds depend on the number of hidden units, depth, spectral norm of the weight matrices, and Lipschitz constant of the overall network (we show that some dependence on the Lipschitz constant is necessary). We also give a bound that is doubly exponential in the size of the network but is independent of spectral norm. These results provably cannot be obtained using gradient-based methods and give the first example of a class of efficiently learnable neural networks that gradient descent will fail to learn. In contrast, prior work for learning networks of depth three or higher requires exponential time in the ambient dimension, even when the above parameters are bounded by a constant. Additionally, all prior work for the depth-two case requires well-conditioned weights and/or positive coefficients to obtain efficient run-times. Our algorithm does not require these assumptions. Our main technical tool is a type of filtered PCA that can be used to iteratively recover an approximate basis for the subspace spanned by the hidden units in the first layer. Our analysis leverages new structural results on lattice polynomials from tropical geometry.

研究动机与目标

• 为解决在高斯输入下高效学习深度ReLU网络这一长期存在的挑战，特别是当深度大于2时。
• 克服基于梯度的方法的局限性，这些方法尽管在参数有界的情况下仍无法学习某些ReLU网络。
• 提供一个可证明高效的算法，其样本复杂度和运行时间在维度上为多项式，仅对网络参数（如大小、深度、谱范数和Lipschitz常数）呈现指数依赖。
• 消除先前方法中对权重条件良好或正系数等假设，这些假设在深度为2的ReLU学习中曾被要求。

提出的方法

• 提出一种滤波PCA算法，通过条件期望和谱滤波，迭代恢复第一层隐藏单元张成子空间的近似基。
• 采用一种新颖的滤波机制，通过阈值化网络输出和输入投影的幅值，以隔离相关子空间。
• 使用ApproxBlockSVD作为子程序，以估计滤波后数据中的低秩结构，其运行时间和样本复杂度通过浓度界限进行控制。
• 利用热带几何在格点多项式上的结构性结果，分析ReLU激活函数及其相互作用的几何特性。
• 引入一种参数化候选网络结构枚举方法（EnumerateNetworks），在有界参数空间内探索可能的网络架构。
• 应用一种递归分解策略，通过条件化已识别子空间上的投影范数，以分离出新的隐藏方向。

实验结果

研究问题

• RQ1 是否可以在环境维度上实现时间复杂度为多项式的时间，即使深度超过二？
• RQ2 是否存在一种非基于梯度的算法，能够高效学习具有有界谱范数和Lipschitz常数的ReLU网络？
• RQ3 该算法能否避免在深度为2的情况下对正权重或条件良好的矩阵施加限制性假设？
• RQ4 为何基于梯度的方法在参数有界的情况下仍无法学习某些ReLU网络？这一现象能否被形式化刻画？
• RQ5 ReLU网络的何种结构性特征使得其可实现固定参数可满足学习？这些特征如何通过几何与代数工具加以利用？

主要发现

• 该算法的样本复杂度为 $ d/\log(1/\nu) \cdot \mathrm{poly}(e^{k^{3}\Lambda^{2}/\varepsilon^{2}}, 2^{kS}, B^{(L+2)k}/\Lambda^{k}) $，在维度 $ d $ 上为多项式，仅对网络参数呈现指数依赖。
• 运行时间为 $ \widetilde{O}(d^{2}\log(1/\delta)) \cdot \mathrm{poly}(e^{k^{3}S^{2}\Lambda^{2}/\varepsilon^{2}}, 2^{kS^{3}}, (B^{L+2}/\Lambda)^{kS^{2}}) $，证实了在维度上的固定参数可满足性。
• 该方法可证明地学习到梯度下降失败的网络，即使在谱范数和Lipschitz常数有界的情况下。
• 该算法无需正系数或条件良好的权重——这些条件在先前的深度为2的网络学习算法中是必需的。
• 滤波PCA通过利用条件期望和谱滤波，成功恢复了隐藏层子空间，其理论保证源自热带几何。
• 分析表明，对Lipschitz常数的依赖是必要的，因为若去除该依赖，将导致信息论上的不可能性。