[论文解读] Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|Aug 3, 2018

Neural Networks and Applications被引用 319

一句话总结

该论文分析了在过参数化的两层 ReLU 网络上使用 SGD 训练为何对结构化数据具有良好泛化性，结果显示在数据被很好地分成结构化组件时，SGD 在接近初始化的位置收敛到一个泛化误差较低的解。

ABSTRACT

Neural networks have many successful applications, while much less theoretical understanding has been gained. Towards bridging this gap, we study the problem of learning a two-layer overparameterized ReLU neural network for multi-class classification via stochastic gradient descent (SGD) from random initialization. In the overparameterized setting, when the data comes from mixtures of well-separated distributions, we prove that SGD learns a network with a small generalization error, albeit the network has enough capacity to fit arbitrary labels. Furthermore, the analysis provides interesting insights into several aspects of learning neural networks and can be verified based on empirical studies on synthetic data and on the MNIST dataset.

研究动机与目标

• 推动理解 SGD 及其在过参数化神经网络中的隐式正则化。
• 建模带有结构化数据的多类分类的两层 ReLU 网络的学习。
• 证明在数据可分性和过参数化条件下，SGD 能达到较小的泛化误差。
• 提供有关初始化、优化景观以及 SGD 诱导的归纳偏差的见解。

提出的方法

• 定义一个用于 k 类分类、具有 m 个隐藏单元、随机初始化的两层 ReLU 网络。
• 将数据表述为每类含有 l 个组成分的混合，满足分布的支撑良好分离(A1) 且输入归一化(A2)。
• 描述带交叉熵损失和 softmax 输出的小批量 SGD 更新（式(1)）。
• 引入一个伪梯度，使在分析 SGD 动态时将激活模式固定为初始化时的模式。
• 证明当 m 足够大时，SGD 找到一个接近初始化且泛化误差较小的解（定理 4.1）。
• 通过简化的无方差情形与耦合引理来支持直觉，显示梯度大小驱动收敛。

实验结果

研究问题

• RQ1 在何种条件下，基于过参数化的两层 ReLU 网络的 SGD 能在结构化数据上实现良好泛化？
• RQ2 初始化与过参数化如何互作，产生归纳偏置并在数据为良好分离的分量混合时避免过拟合？
• RQ3 数据结构（k、l、delta、直径）在确定学习时间和所需网络宽度中的作用？
• RQ4 SGD 的动力学是否可以被一个良性的伪梯度近似，以解释优化与泛化行为？

主要发现

• 在具有拟合任意标签能力的情况下，采用合适的随机初始化的 SGD 仍能实现较低的泛化误差。
• 所需的过参数化和学习时间取决于数据结构参数（k、l、delta），而不依赖于环境维度 d。
• 当 m 较大时，在分布假设下，所需样本数量是多项式量级即可高概率获得正确分类。
• 接近初始化的 SGD 动力学在很大程度上与一个良性学习过程耦合，解释了为什么优化成功且泛化得以保留。
• 在合成数据和 MNIST 上的实证结果支持该理论，显示激活模式耦合以及权重更新中的低秩结构。