[论文解读] Asymptotic Optimality of Conditioned Stochastic Gradient Descent

Rémi Leluc, François Portier|arXiv (Cornell University)|Jun 4, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用 5

一句话总结

本文提出了一种条件化随机梯度下降（SGD）方法，即通过自适应矩阵对梯度方向进行预处理的SGD变体。在较弱假设条件下——L-利普希茨连续性和噪声增长条件——证明了几乎必然收敛性和渐近正态性，且当预处理矩阵在收敛时准确估计逆Hessian矩阵时达到最优性。

ABSTRACT

In this paper, we investigate a general class of stochastic gradient descent (SGD) algorithms, called conditioned SGD, based on a preconditioning of the gradient direction. Under some mild assumptions, namely the $L$-smoothness of the non-convex objective function and some weak growth condition on the noise, we establish the almost sure convergence and the asymptotic normality for a broad class of conditioning matrices. In particular, when the conditioning matrix is an estimate of the inverse Hessian at the optimal point, the algorithm is proved to be asymptotically optimal. The benefits of this approach are validated on simulated and real datasets.

研究动机与目标

• 通过梯度预处理，开发一类具有改进收敛性和效率的通用随机梯度下降算法。
• 在目标函数和噪声的弱假设下，分析条件化SGD的收敛行为。
• 建立迭代序列的渐近正态性，从而支持非凸优化中的统计推断。
• 证明使用逆Hessian估计进行预处理可实现渐近最优性，从而提升收敛速度和效率。

提出的方法

• 提出一个通用的条件化SGD框架，其中梯度方向由时变矩阵进行预处理。
• 采用可自适应更新的预处理矩阵，重点在于在最优解处估计逆Hessian矩阵。
• 依赖于目标函数的L-利普希茨连续性以及噪声的弱增长条件，以保证稳定性与收敛性。
• 利用鞅差序列和随机逼近理论分析几乎必然收敛性。
• 应用中心极限定理论证，建立参数估计的渐近正态性。
• 在模拟数据和真实数据集上对方法进行实证验证，以展示其实际优势。

实验结果

研究问题

• RQ1 在何种条件下，条件化SGD会以几乎必然收敛到一个驻点？
• RQ2 在较弱正则性假设下，条件化SGD能否实现渐近正态性？
• RQ3 在非凸设置下，使用逆Hessian估计对梯度进行预处理是否能实现渐近最优性？
• RQ4 预处理矩阵的选择如何影响收敛速度和统计效率？
• RQ5 在随机优化中使用基于Hessian矩阵的预处理的理论依据是什么？

主要发现

• 在L-利普希茨连续性和弱噪声增长条件下，条件化SGD几乎必然收敛到一个驻点。
• 条件化SGD的迭代序列具有渐近正态性，从而支持非凸优化中的统计推断。
• 当预处理矩阵在最优解处准确估计逆Hessian矩阵时，该算法达到渐近最优性。
• 理论保证适用于广泛的预处理矩阵类，不仅限于Hessian近似。
• 在模拟数据和真实数据集上的实证结果证实了该方法在收敛性和稳定性方面的改进。
• 该方法为自适应随机优化提供了一个具有强理论支持的系统性框架。