[论文解读] Gradient Descent on Two-layer Nets: Margin Maximization and Simplicity Bias

Kaifeng Lyu, Zhiyuan Li+2 more|arXiv (Cornell University)|Oct 26, 2021

Machine Learning and ELM被引用 7

一句话总结

该论文证明，在小初始化条件下，两层Leaky ReLU网络上的梯度流在对称、线性可分数据上，无论网络宽度如何，均会收敛到全局最大间隔线性分类器。它证明了最大间隔优化的全局最优性，并为梯度下降在训练初期表现出对线性解的简化偏置提供了理论依据，同时表明这种行为在简单数据扰动下是脆弱的。

ABSTRACT

The generalization mystery of overparametrized deep nets has motivated efforts to understand how gradient descent (GD) converges to low-loss solutions that generalize well. Real-life neural networks are initialized from small random values and trained with cross-entropy loss for classification (unlike the "lazy" or "NTK" regime of training where analysis was more successful), and a recent sequence of results (Lyu and Li, 2020; Chizat and Bach, 2020; Ji and Telgarsky, 2020) provide theoretical evidence that GD may converge to the "max-margin" solution with zero loss, which presumably generalizes well. However, the global optimality of margin is proved only in some settings where neural nets are infinitely or exponentially wide. The current paper is able to establish this global optimality for two-layer Leaky ReLU nets trained with gradient flow on linearly separable and symmetric data, regardless of the width. The analysis also gives some theoretical justification for recent empirical findings (Kalimeris et al., 2019) on the so-called simplicity bias of GD towards linear or other "simple" classes of solutions, especially early in training. On the pessimistic side, the paper suggests that such results are fragile. A simple data manipulation can make gradient flow converge to a linear classifier with suboptimal margin.

研究动机与目标

• 理解在小初始化和逻辑损失下，过参数化两层ReLU网络中梯度下降的隐式偏差。
• 在对称、线性可分数据条件下，建立两层Leaky ReLU网络中最大间隔优化的全局最优性。
• 为梯度下降在训练初期表现出对线性解的简化偏置提供理论依据。
• 证明最大间隔收敛行为在简单数据扰动下是否稳健，或是否存在简单操作可破坏该行为。

提出的方法

• 分析在对称、线性可分数据上，小初始化条件下两层Leaky ReLU网络的梯度流动力学。
• 采用多阶段分析方法，包括后期分析，表明其收敛至最大间隔优化问题的KKT条件。
• 应用Grönwall不等式和常微分方程理论，证明在正交可分数据下轨迹的唯一性，确保无分支路径。
• 利用数据的对称性（若x在数据集中，则-x也在）证明：任何全局最大间隔解必为线性。
• 通过合成数据集的实验验证收敛至最大间隔线性分类器，并与SVM性能进行比较。
• 使用平均场分析和覆盖论证，将结果扩展至无限宽网络之外的范围。

实验结果

研究问题

• RQ1 在对称、线性可分数据上，两层Leaky ReLU网络上的梯度流是否无论网络宽度如何，均收敛至全局最大间隔解？
• RQ2 为何梯度下降在训练初期表现出对线性分类器的简化偏置？这一现象能否得到理论解释？
• RQ3 对最大间隔解的收敛是否对数据扰动具有鲁棒性？还是简单的数据操作即可破坏该行为？
• RQ4 在额外结构假设下，能否证明后期训练中推导出的KKT条件可蕴含全局最大间隔最优性？

主要发现

• 对于对称、线性可分数据，两层Leaky ReLU网络的任何全局最大间隔解都必须是线性的，即使网络宽度较大。
• 在对称数据上，小初始化条件下，两层Leaky ReLU网络上的梯度流会收敛至全局最大间隔线性分类器，且该收敛与网络宽度无关。
• 向最大间隔解的收敛是脆弱的：简单的数据操作可导致梯度流收敛至一个边际更差的次优线性分类器。
• 实验结果表明，两层Leaky ReLU网络在不同数据集规模（10至100个样本）下，测试误差几乎与SVM最大间隔分类器一致，证实其收敛至相同的决策边界。
• 分析证明了在正交可分数据下轨迹的唯一性，从而支持基于常微分方程的严谨收敛论证。
• 理论结果超越了NTK范式，表明小初始化可引发特征学习和全局最大间隔最优性，与懒惰训练范式不同。