[论文解读] A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network

Mo Zhou, Rong Ge+1 more|arXiv (Cornell University)|Feb 4, 2021

Neural Networks and Applications参考文献 15被引用 7

一句话总结

本文建立了对轻微过参数化的两层神经网络的局部收敛理论，表明当损失低于与分离度和宽度参数相关的多项式阈值时，梯度下降会收敛至全局最优解，此时所有学生神经元均与教师神经元对齐。关键贡献在于通过一种特殊的Lojasiewicz型梯度性质，对优化景观进行了新颖表征，从而实现与网络规模无关的收敛性，并且该理论有效范围超越了神经正切核（Neural Tangent Kernel）范式。

ABSTRACT

While over-parameterization is widely believed to be crucial for the success of optimization for the neural networks, most existing theories on over-parameterization do not fully explain the reason -- they either work in the Neural Tangent Kernel regime where neurons don't move much, or require an enormous number of neurons. In practice, when the data is generated using a teacher neural network, even mildly over-parameterized neural networks can achieve 0 loss and recover the directions of teacher neurons. In this paper we develop a local convergence theory for mildly over-parameterized two-layer neural net. We show that as long as the loss is already lower than a threshold (polynomial in relevant parameters), all student neurons in an over-parameterized two-layer neural network will converge to one of teacher neurons, and the loss will go to 0. Our result holds for any number of student neurons as long as it is at least as large as the number of teacher neurons, and our convergence rate is independent of the number of student neurons. A key component of our analysis is the new characterization of local optimization landscape -- we show the gradient satisfies a special case of Lojasiewicz property which is different from local strong convexity or PL conditions used in previous work.

研究动机与目标

• 解释为何在实践中，轻微过参数化的两层神经网络能够收敛至全局最优解，尽管现有理论存在局限。
• 填补当学生网络神经元数量仅略大于教师网络时，局部收敛理解上的空白。
• 发展一种理论，允许神经元在训练过程中显著偏离初始化状态，与神经正切核范式不同。
• 通过一种不同于强凸性或PL条件的新梯度性质，表征局部优化景观。
• 证明收敛至全局最优解的速率与学生神经元数量无关。

提出的方法

• 提出一种基于Lojasiewicz性质特殊情形的新局部优化景观表征，用于控制全局最优解附近的梯度行为。
• 基于分离度Δ和教师神经元数量r，定义一个阈值τ = poly(Δ/r)，当损失低于该阈值时，保证收敛。
• 使用步长η ≤ O(min{r^{-1/2}w_{max}^{-1/2}κ, r^{-1}w_{max}^{-1}}) 的梯度下降，以确保下降与收敛。
• 利用有限样本估计建立随机梯度的浓度界，确保对数据采样误差的鲁棒性。
• 证明当损失低于阈值时，损失以O(1/t)的速率递减，最终收敛至零损失。
• 借助Lojasiewicz型条件，推导出损失平方的线性收敛速率，且该速率与网络宽度无关。

实验结果

研究问题

• RQ1 当初始损失低于某一阈值时，梯度下降是否能在轻微过参数化的两层神经网络中收敛至全局最优解？
• RQ2 只要学生网络神经元数量不少于教师网络，其收敛行为是否对神经元数量不敏感？
• RQ3 何种局部优化景观特性使得收敛不依赖于强凸性或PL条件？
• RQ4 收敛速率如何依赖于网络宽度和初始化方式？是否可与神经元数量无关？
• RQ5 该理论能否解释实际训练中学生神经元与教师神经元方向对齐的实证现象？

主要发现

• 本文证明，若训练损失低于τ = poly(Δ/r)，则梯度下降会收敛至全局最优解，且所有学生神经元方向与教师神经元方向完全匹配。
• 收敛速率保持为O(1/t)，与学生神经元数量无关，即使在仅轻微过参数化的设置下亦成立。
• 关键机制是一种新型Lojasiewicz型梯度性质，其在全局最优解附近局部成立，且不同于PL条件或强凸性。
• 收敛阈值τ仅依赖于分离度Δ和教师神经元数量r，与学生网络规模无关。
• 该分析适用于任意满足≥ r个学生神经元的设置，且收敛速率对有限样本的随机梯度估计具有鲁棒性。
• 该理论解释了在过参数化设置下，即使神经元显著偏离初始化，仍能实现神经元对齐的实证现象。