[论文解读] Gradient Descent for One-Hidden-Layer Neural Networks: Polynomial Convergence and SQ Lower Bounds

Santosh Vempala, John Wilmes|arXiv (Cornell University)|May 7, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用 6

一句话总结

本文为使用ReLU或Sigmoid激活函数训练单隐藏层神经网络的梯度下降方法建立了多项式时间收敛保证，表明其可利用$n^{O(k)}\log(1/\varepsilon)$个单元和迭代次数，将最佳次数为$k$的多项式近似误差控制在$\varepsilon_0 + \varepsilon$以内。同时，本文证明了近乎匹配的统计查询（SQ）下界，表明任何SQ算法都无法在复杂度上显著优于梯度下降，从而在这一agnostic学习设定下证明了GD的最优性。

ABSTRACT

We study the complexity of training neural network models with one hidden nonlinear activation layer and an output weighted sum layer. We analyze Gradient Descent applied to learning a bounded target function on $n$ real-valued inputs. We give an agnostic learning guarantee for GD: starting from a randomly initialized network, it converges in mean squared loss to the minimum error (in $2$-norm) of the best approximation of the target function using a polynomial of degree at most $k$. Moreover, for any $k$, the size of the network and number of iterations needed are both bounded by $n^{O(k)}\log(1/ε)$. In particular, this applies to training networks of unbiased sigmoids and ReLUs. We also rigorously explain the empirical finding that gradient descent discovers lower frequency Fourier components before higher frequency components. We complement this result with nearly matching lower bounds in the Statistical Query model. GD fits well in the SQ framework since each training step is determined by an expectation over the input distribution. We show that any SQ algorithm that achieves significant improvement over a constant function with queries of tolerance some inverse polynomial in the input dimensionality $n$ must use $n^{Ω(k)}$ queries even when the target functions are restricted to a set of $n^{O(k)}$ degree-$k$ polynomials, and the input distribution is uniform over the unit sphere; for this class the information-theoretic lower bound is only $Θ(k \log n)$. Our approach for both parts is based on spherical harmonics. We view gradient descent as an operator on the space of functions, and study its dynamics. An essential tool is the Funk-Hecke theorem, which explains the eigenfunctions of this operator in the case of the mean squared loss.

研究动机与目标

• 为在agnostic设定下训练单隐藏层神经网络的梯度下降方法提供严格的收敛性分析。
• 通过理论框架解释梯度下降的谱偏差现象——即在训练过程中，低频傅里叶分量会先于高频分量被学习。
• 在统计查询（SQ）模型中建立近乎紧致的下界，表明任何SQ算法都无法在学习度数为$k$的多项式近似方面优于梯度下降的查询复杂度。
• 通过球谐函数与Funk-Hecke定理，统一分析GD与SQ复杂度，从泛函分析视角揭示网络训练动力学。

提出的方法

• 通过球谐函数与Funk-Hecke定理，将梯度下降建模为函数空间上的线性算子，从而实现对优化动力学的谱分解。
• 证明了一个关键存在性定理：任意有界函数若存在误差为$\varepsilon_0$的度数$k$多项式近似，则可通过从任意激活类中随机选取$n^{O(k)} \cdot \text{poly}(1/\varepsilon)$个门单元（只要其在度数$k$以内具有非零谐波系数），实现$\varepsilon_0 + \varepsilon$以内的近似。
• 该方法适用于ReLU和Sigmoid激活函数，因为二者在所需度数内均具有非零谐波系数。
• 通过证明GD可将网络输出驱动至度数$k$多项式在$L^2$范数下的最佳逼近，从而推导出收敛保证，且该结论不依赖于凸性或全局收敛性。
• 通过将问题约化为带有高斯噪声的查询，并利用噪声查询的Lipschitz性质，建立了SQ模型中的下界。
• 证明SQ下界近乎紧致：任何实现常数误差的算法必须进行$n^{\Omega(k)}$次查询，与上界仅相差对数因子。

实验结果

研究问题

• RQ1 在不依赖凸性的情况下，梯度下降能否在单隐藏层神经网络中可证明地收敛至最佳度数$k$多项式近似？
• RQ2 为何梯度下降在训练过程中表现出谱偏差——即优先学习低频分量而非高频分量？
• RQ3 在agnostic学习度数$k$多项式近似时，梯度下降在查询复杂度上是否最优？
• RQ4 对于任意有界目标函数，梯度下降的收敛性能否以网络规模和迭代次数为参数进行界定？
• RQ5 统计查询模型中是否存在固有局限性，导致无法更快学习度数$k$多项式近似？

主要发现

• 梯度下降收敛至度数$k$多项式在$L^2$范数下的最佳逼近，实现误差$\varepsilon_0 + \varepsilon$，所需网络规模与迭代次数为$n^{O(k)}\log(1/\varepsilon)$。
• 该收敛过程为agnostic：目标函数无需为多项式，仅需存在误差为$\varepsilon_0$的度数$k$多项式近似。
• GD的谱偏差——即优先学习低频傅里叶分量——可通过球谐函数表示的梯度算子的特征结构得到严格解释。
• 任何实现常数误差且容忍度为多项式倒数的SQ算法，必须进行$n^{\Omega(k)}$次查询，即使目标类仅包含$n^{O(k)}$个函数。
• 下界与上界近乎匹配，表明GD在SQ模型中对这类学习问题本质上是最优的。
• 结果对ReLU和Sigmoid激活函数均成立，只要其谐波展开在度数$k$以内具有非零系数。