[论文解读] Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization

Navid Azizan, Babak Hassibi|arXiv (Cornell University)|Jun 4, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用 14

一句话总结

本文建立了随机镜像下降（SMD）的一个基本恒等式，该恒等式在小步长下蕴含极小极大最优性，并可推广至非线性模型和损失函数。研究表明，SMD在过参数化的线性模型中收敛并诱导隐式正则化，为尽管没有显式正则化但SGD在深度学习中泛化性能良好的原因提供了理论洞察。

ABSTRACT

Stochastic descent methods (of the gradient and mirror varieties) have become increasingly popular in optimization. In fact, it is now widely recognized that the success of deep learning is not only due to the special deep architecture of the models, but also due to the behavior of the stochastic descent methods used, which play a key role in reaching "good" solutions that generalize well to unseen data. In an attempt to shed some light on why this is the case, we revisit some minimax properties of stochastic gradient descent (SGD) for the square loss of linear models---originally developed in the 1990's---and extend them to general stochastic mirror descent (SMD) algorithms for general loss functions and nonlinear models. In particular, we show that there is a fundamental identity which holds for SMD (and SGD) under very general conditions, and which implies the minimax optimality of SMD (and SGD) for sufficiently small step size, and for a general class of loss functions and general nonlinear models. We further show that this identity can be used to naturally establish other properties of SMD (and SGD), namely convergence and implicit regularization for over-parameterized linear models (in what is now being called the "interpolating regime"), some of which have been shown in certain cases in prior literature. We also argue how this identity can be used in the so-called "highly over-parameterized" nonlinear setting (where the number of parameters far exceeds the number of data points) to provide insights into why SMD (and SGD) may have similar convergence and implicit regularization properties for deep learning.

研究动机与目标

• 解释为何随机梯度下降（SGD）和随机镜像下降（SMD）在深度学习中尽管没有显式正则化仍能实现良好泛化。
• 将20世纪90年代关于线性模型SGD的经典极小极大结果推广至一般非线性模型和损失函数。
• 基于SMD中的一个基本恒等式，为过参数化设置下的收敛性和隐式正则化建立理论基础。
• 为SMD/SGD在高度过参数化的非线性模型（如深度神经网络）中的行为提供洞见。

提出的方法

• 推导出SMD的一个基本恒等式，将算法的迭代过程与极小极大滤波问题联系起来，推广了$H^\infty$滤波理论。
• 利用该恒等式证明当步长足够小时SMD的极小极大最优性。
• 将该恒等式应用于证明在过参数化线性模型中SMD的收敛性和隐式正则化，其中解流形$\mathcal{W}$的维度为$m-n$。
• 证明当$m \gg n$时，任意随机初始权重$w_0$通常与解流形$\mathcal{W}$的距离在$O(\sqrt{n/m})$以内，从而实现向正则化解的收敛。
• 通过相应修改恒等式和极小极大公式，将结果推广至时变步长。
• 利用Bregman散度的局部非负性和弱依赖性，将收敛性和正则化结果推广至解流形邻域内的非线性模型。

实验结果

研究问题

• RQ1 为何随机镜像下降（SMD）在过参数化模型中即使没有显式正则化也能收敛到泛化性能良好的解？
• RQ2 SMD的极小极大最优性能否超越线性模型和平方损失，推广至非线性模型和一般损失函数？
• RQ3 在过参数化线性情形下，SMD的隐式正则化如何产生，其与算法收敛性的关系是什么？
• RQ4 SGD与其他优化算法在深度学习中泛化性能差异的原因是什么？
• RQ5 SMD在线性模型中的理论性质在多大程度上可推广至高度过参数化的非线性模型（如深度神经网络）？

主要发现

• 在一般条件下（包括非线性模型和一般损失函数）下，SMD在步长足够小时具有极小极大最优性。
• 当初始权重$w_0$在$\epsilon$以内接近$w_*$时，算法收敛至解$w_\infty$，其与隐式正则化解$w_*$的距离为$o(\epsilon)$。
• 在过参数化线性情形（$m \gg n$）下，任意随机初始权重$w_0$以高概率（whp）与解流形$\mathcal{W}$的距离在$O(\sqrt{n/m})$以内，从而实现向正则化解的收敛。
• 在该线性情形下，隐式正则化自然地源于Bregman散度结构和算法的极小极大公式，无需显式约束。
• 理论可推广至时变步长，只要势函数减去损失函数满足凸性条件，即可保持极小极大最优性和收敛性。
• 该框架为高度过参数化非线性模型中隐式正则化的出现提供了启发式解释：随机初始化使$w_0$靠近解流形，而SMD收敛至接近隐式正则化器$w_*$的解。