[论文解读] Convergence of Gradient Descent on Separable Data

Mor Shpigel Nacson, Jason D. Lee+4 more|arXiv (Cornell University)|Mar 5, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用 29

一句话总结

该论文证明，在可分数据上，梯度下降在一大类超多项式尾部损失函数（包括逻辑损失）下，其方向收敛于L2最大间隔分离器。论文进一步证明，对于指数尾部损失，采用自适应步长时，收敛速率可达到最优的O(log t / √t)，显著快于使用固定步长时的标准O(1/log t)速率。

ABSTRACT

We provide a detailed study on the implicit bias of gradient descent when optimizing loss functions with strictly monotone tails, such as the logistic loss, over separable datasets. We look at two basic questions: (a) what are the conditions on the tail of the loss function under which gradient descent converges in the direction of the $L_2$ maximum-margin separator? (b) how does the rate of margin convergence depend on the tail of the loss function and the choice of the step size? We show that for a large family of super-polynomial tailed losses, gradient descent iterates on linear networks of any depth converge in the direction of $L_2$ maximum-margin solution, while this does not hold for losses with heavier tails. Within this family, for simple linear models we show that the optimal rates with fixed step size is indeed obtained for the commonly used exponentially tailed losses such as logistic loss. However, with a fixed step size the optimal convergence rate is extremely slow as $1/\log(t)$, as also proved in Soudry et al. (2018). For linear models with exponential loss, we further prove that the convergence rate could be improved to $\log (t) /\sqrt{t}$ by using aggressive step sizes that compensates for the rapidly vanishing gradients. Numerical results suggest this method might be useful for deep networks.

研究动机与目标

• 理解在可分数据上，使用无正则化、严格单调损失函数的线性分类中，梯度下降的隐式偏差。
• 确定损失函数尾部满足何种条件时，梯度下降会收敛于L2最大间隔分离器。
• 刻画收敛速率至最大间隔解如何依赖于损失函数的尾部特性及步长选择。
• 将分析扩展至深度线性网络，研究深度对收敛速率的影响。
• 探究自适应步长策略是否可使收敛速率超越标准的O(1/log t)速率。

提出的方法

• 分析具有超多项式尾部的严格单调损失函数在线性模型上的梯度下降动力学。
• 利用渐近分析与李雅普诺夫函数技术，研究方向收敛至最大间隔解的过程。
• 引入归一化梯度更新，其中步长与梯度范数的倒数成正比，以加速收敛。
• 证明对于指数尾部损失（如逻辑损失），在自适应步长下，间隔收敛速率可从O(1/log t)提升至O(log t / √t)，显著更快。
• 将分析扩展至具有全连接层的深度线性网络，表明其表现出相似的收敛行为，且对深度不敏感。
• 利用泰勒展开及指数项的界，控制收敛分析中的误差项。

实验结果

研究问题

• RQ1 损失函数尾部需满足何种条件，才能确保在可分数据上，梯度下降在方向上收敛于L2最大间隔分离器？
• RQ2 收敛速率至最大间隔解如何依赖于损失函数的尾部特性及步长选择？
• RQ3 对于指数尾部损失，是否可通过自适应步长策略使收敛速率超越O(1/log t)？
• RQ4 梯度下降对最大间隔解的隐式偏差是否可推广至深度线性网络？深度如何影响收敛速率？
• RQ5 在非线性神经网络中，自适应步长带来的改进收敛速率是否具有实际可观察性？

主要发现

• 对于所有具有超多项式尾部的损失函数，梯度下降在方向上收敛于L2最大间隔分离器，但对子多项式或多项式尾部损失则不成立。
• 对于指数尾部损失（如逻辑损失），使用标准固定步长的梯度下降可实现最优的O(1/log t)间隔收敛速率。
• 通过采用与梯度范数倒数成正比的步长的归一化梯度更新，间隔收敛速率可提升至O(log t / √t)，显著快于O(1/log t)。
• 自适应步长带来的改进收敛速率在简单线性模型与深度线性网络中均成立，即使在无限深度极限下也仅出现轻微退化。
• 数值结果表明，自适应步长带来的加速收敛可能同样适用于非线性神经网络。
• 分析确认，当损失函数具有严格单调且超多项式尾部时，梯度下降的隐式偏差对初始化和步长选择具有鲁棒性。