[论文解读] Fine-Grained Analysis of Optimization and Generalization for Overparameterized Two-Layer Neural Networks

Sanjeev Arora, Simon S. Du+3 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications被引用 238

一句话总结

本文分析了随机初始化下过参数化的两层 ReLU 网络的训练动力学和泛化性，揭示了细粒度的收敛速率以及通过 ReLU 核 Gram 矩阵得到的数据相关、与模型规模无关的泛化界限。

ABSTRACT

Recent works have cast some light on the mystery of why deep nets fit any data and generalize despite being very overparametrized. This paper analyzes training and generalization for a simple 2-layer ReLU net with random initialization, and provides the following improvements over recent works: (i) Using a tighter characterization of training speed than recent papers, an explanation for why training a neural net with random labels leads to slower training, as originally observed in [Zhang et al. ICLR'17]. (ii) Generalization bound independent of network size, using a data-dependent complexity measure. Our measure distinguishes clearly between random labels and true labels on MNIST and CIFAR, as shown by experiments. Moreover, recent papers require sample complexity to increase (slowly) with the size, while our sample complexity is completely independent of the network size. (iii) Learnability of a broad class of smooth functions by 2-layer ReLU nets trained via gradient descent. The key idea is to track dynamics of training and generalization via properties of a related kernel.

研究动机与目标

• 理解为何过参数化的网络在拟合随机数据的同时也能泛化的动机与意义。
• 给出更紧凑的训练速率解释，区分真实标签与随机标签。
• 推导一个数据相关、与网络尺寸无关的泛化界限。
• 展示两层 ReLU 网络在梯度下降下对广泛平滑函数的可学习性。
• 将优化动力学与基于核的分析性可处理性联系起来（如 ReLU 基核）。

提出的方法

• 建立一个具有 m 个隐藏单元的两层 ReLU 网络，并在二次损失上进行梯度下降训练。
• 定义来自 ReLU 核的 Gram 矩阵 H^∞，用于刻画训练动力学。
• 证明训练预测按线性化更新近似，由 (I − ηH^∞) 控制。
• 基于参数移动与 Rademacher 复杂度，建立一个与数据相关且独立于 m 的泛化界限。
• 提出一个数据相关的复杂度量 y^T(H^∞)^{-1}y，用以区分真实标签与随机标签。
• 将可学习的函数类与核驱动的动力学联系起来（如线性、多项式/余弦激活等）。

实验结果

研究问题

• RQ1 问题1：在过参数化的两层网络中，为什么真实标签在梯度下降下的收敛速度快于随机标签？
• RQ2 问题2：是否可以获得一个简单的、数据相关的泛化度量，而不依赖于训练好的网络尺寸来区分真实标签与随机标签？
• RQ3 问题3：在该框架下，两层 ReLU 网络通过梯度下降可以学习的广义函数类有哪些？

主要发现

• 在过参数化的两层 ReLU 网络上，梯度下降的收敛速率依赖于将标签向量投影到 ReLU Gram 矩阵 H^∞ 的特征向量上的投影。
• 真实标签与 H^∞ 的前几特征向量对齐，因此收敛速度快于随机标签，后者的投影更趋向于均匀分布。
• 建立了一个与隐藏层宽度 m 无关的、基于 y^T(H^∞)^{-1}y 的数据相关泛化界限，为尺寸无关的衡量提供了依据。
• 该界限对任意 1-Lipschitz 损失成立，覆盖总体风险，并对二分类的推论给出测试误差控制的推论。
• 分析表明在小初始化下，通过梯度下降可以学习广泛的平滑函数类（如线性、多项式/余弦激活）。
• 在 MNIST/CIFAR 的实验中，通过所提复杂度度量区分真实标签与随机标签的效果明显。