[论文解读] Convergence of SGD in Learning ReLU Models with Separable Data.

Tengyu Xu, Yi Zhou+2 more|arXiv (Cornell University)|Jun 12, 2018

Stochastic Gradient Optimization Techniques参考文献 14被引用 8

一句话总结

本文研究了在可线性分离数据上训练ReLU模型进行二分类时，随机梯度下降（SGD）的隐式偏差。结果表明，SGD在期望下收敛于全局或局部最大间隔方向；在平稳条件下，所学习的多神经元分类器会针对每个样本模式划分最大化间隔，揭示了尽管存在非凸性和虚假局部极小值，仍存在强烈的隐式偏差以实现间隔最大化。

ABSTRACT

We study the implicit bias of gradient descent methods in solving a binary classification problem over a linearly separable dataset. The classifier is described by a nonlinear ReLU model and the objective function adopts the exponential loss function. We first characterize the landscape of the loss function and show that there can exist spurious asymptotic local minima besides asymptotic global minima. We then show that gradient descent (GD) can converge to either a global or a local max-margin direction, or may diverge from the desired max-margin direction in a general context. For stochastic gradient descent (SGD), we show that it converges in expectation to either the global or the local max-margin direction if SGD converges. We further explore the implicit bias of these algorithms in learning a multi-neuron network under certain stationary conditions, and show that the learned classifier maximizes the margins of each sample pattern partition under the ReLU activation.

研究动机与目标

• 理解在学习线性可分数据的ReLU模型时，梯度下降的隐式偏差。
• 分析损失曲面，并识别ReLU模型在指数损失下是否存在虚假渐近局部极小值。
• 从最大间隔方向的角度，表征梯度下降（GD）和随机梯度下降（SGD）的收敛行为。
• 探索在平稳条件下，隐式偏差如何扩展至多神经元网络。
• 确立在多神经元ReLU网络中，所学习的分类器会针对每个样本模式划分最大化间隔。

提出的方法

• 分析在可线性分离数据上使用指数损失的ReLU模型的损失曲面，识别出全局极小值和虚假渐近局部极小值。
• 通过理论分析表明，GD可能收敛于全局或局部最大间隔方向，或偏离最优最大间隔方向。
• 对SGD应用收敛性分析，证明若SGD收敛，则其在期望下收敛于全局或局部最大间隔方向。
• 引入平稳条件以研究多神经元ReLU网络中的隐式偏差。
• 推导出在这些条件下，分类器隐式最大化每个样本模式划分的间隔。
• 运用优化理论和间隔分析中的工具，形式化非凸、非光滑设置下的收敛性和偏差行为。

实验结果

研究问题

• RQ1 在可线性分离数据上训练的ReLU模型中，梯度下降是否能收敛于最大间隔方向，还是可能被困于虚假局部极小值？
• RQ2 在何种条件下，随机梯度下降会以期望方式收敛至最大间隔解？
• RQ3 在具有指数损失的非凸ReLU模型中，SGD的隐式偏差与GD有何不同？
• RQ4 平稳条件在塑造多神经元ReLU网络隐式偏差方面起什么作用？
• RQ5 在多神经元ReLU模型中，所学习的分类器是否针对每个样本模式划分最大化间隔？

主要发现

• ReLU模型在指数损失下，其损失函数除全局极小值外，还可能存在虚假渐近局部极小值。
• 梯度下降可能收敛于全局或局部最大间隔方向，或可能偏离理想的最优化最大间隔方向。
• 若SGD收敛，则其在期望下收敛于全局或局部最大间隔方向。
• 在平稳条件下，多神经元网络中的隐式偏差导致对每个样本模式划分的间隔最大化。
• SGD和GD在ReLU模型中的隐式偏差均倾向于最大间隔解，即使在存在非凸性和虚假极小值的情况下亦然。
• 理论分析证实，收敛行为本质上与数据的间隔结构及优化路径密切相关。