[论文解读] Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK

Yuanzhi Li, Tengyu Ma+1 more|arXiv (Cornell University)|Jul 9, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用 6

一句话总结

该论文表明，通过梯度下降训练的过参数化两层 ReLU 神经网络可在多项式时间内使用多项式样本，以 $o(1/d)$ 的总体损失学习特定目标函数，同时证明在相同条件下，任何核方法（包括神经正切核 NTK）的损失至多为 $\tilde{\bigOmega}(1/d)$。该结果在过参数化设置下建立了基于梯度的训练与核方法之间可证明的一般化差距。

ABSTRACT

We consider the dynamic of gradient descent for learning a two-layer neural network. We assume the input $x\in\mathbb{R}^d$ is drawn from a Gaussian distribution and the label of $x$ satisfies $f^{\star}(x) = a^{ op}|W^{\star}x|$, where $a\in\mathbb{R}^d$ is a nonnegative vector and $W^{\star} \in\mathbb{R}^{d imes d}$ is an orthonormal matrix. We show that an over-parametrized two-layer neural network with ReLU activation, trained by gradient descent from random initialization, can provably learn the ground truth network with population loss at most $o(1/d)$ in polynomial time with polynomial samples. On the other hand, we prove that any kernel method, including Neural Tangent Kernel, with a polynomial number of samples in $d$, has population loss at least $Ω(1 / d)$.

研究动机与目标

• 理解在超越神经正切核（NTK）范围之外，过参数化两层 ReLU 神经网络通过梯度下降训练的一般化性能。
• 在过参数化设置下，正式建立梯度下降与核方法之间的一般化差距。
• 分析在或正交权重结构和非负激活系数条件下，截断梯度下降在两层 ReLU 网络上的动态行为。
• 证明梯度下降可实现亚常数总体损失 $o(1/d)$，而核方法在本质上受限于 $\tilde{\bigOmega}(1/d)$。

提出的方法

• 作者将目标函数建模为 $f^\star(x) = \sum_{i=1}^d a_i |w_i^\top x|$，其中 $a_i \in [1/(\kappa d), \kappa/d]$，$\sum a_i = 1$，且 $\{w_i^\star\}$ 构成一个或正交基。
• 他们将学生网络重新参数化为 $f_W(x) = \frac{1}{m} \sum_{i=1}^m \|w_i\| \cdot \operatorname{ReLU}(w_i^\top x)$，从而实现对神经元权重的梯度更新并控制其范数。
• 采用截断梯度下降算法，当神经元的 $\ell_2$ 范数超过阈值时，将其梯度置零，以防止其无界增长。
• 分析利用了输入分布上的布尔傅里叶分析，将 $x = \bar{x} \circ \tau$ 处理，其中 $\tau \sim \operatorname{Uniform}(\{-1,1\}^d)$，用于比较目标函数与学生函数的傅里叶系数。
• 证明构造了一个较大的有利权重配置集合 $\mathcal{S}_{gd}$，使得学生网络在误差 $o(1/d)$ 内逼近目标函数，方法是基于傅里叶系数矩阵的秩分析。
• 通过使用目标函数与学生函数傅里叶系数构成的矩阵的秩，采用反证法，表明核方法无法实现优于 $\tilde{\bigOmega}(1/d)$ 的误差。

实验结果

研究问题

• RQ1 在具有或正交权重和非负系数的目标函数下，过参数化两层 ReLU 网络的梯度下降能否实现总体损失 $o(1/d)$？
• RQ2 在过参数化设置下，是否存在梯度下降与核方法（包括 NTK）之间可证明的一般化差距？
• RQ3 能否利用梯度下降的隐式正则化，在此设置下超越核方法的性能极限？
• RQ4 目标函数的结构——特别是其绝对值形式和或正交基——在实现更优一般化中起到何种作用？

主要发现

• 过参数化两层 ReLU 网络通过梯度下降可在多项式时间内、使用多项式样本实现 $o(1/d)$ 的总体损失。
• 任何核方法（包括 NTK）的泛化误差即使在使用多项式样本下，其下界也受限于 $\tilde{\bigOmega}(1/d)$。
• 证明表明，有利权重配置集合 $\mathcal{S}_{gd}$ 的大小为 $d^{\Omega(r)}$，其中 $r$ 为充分大的常数，从而确保了良好泛化的充分容量。
• 分析揭示，目标函数的傅里叶系数仅在大小为 $r$ 的子集上非零，而学生网络必须匹配这些系数才能实现低误差。
• 目标函数傅里叶系数矩阵的秩为 $d^{\Omega(r)}$，任何误差在 $o(1/d)$ 内的近似必须保持该秩，而核方法无法做到这一点。
• 该结果揭示了在该过参数化设置下核方法的根本局限性，表明其无法匹配梯度下降的一般化性能。