[论文解读] Asymptotic Analysis via Stochastic Differential Equations of Gradient Descent Algorithms in Statistical and Computational Paradigms

Yazhen Wang|arXiv (Cornell University)|Nov 27, 2017

Stochastic Gradient Optimization Techniques参考文献 92被引用 8

一句话总结

本文通过随机微分方程（SDEs）建立了一个统一的框架，用于联合分析梯度下降算法的计算与统计渐近行为。推导了梯度流中心极限定理，表明随机梯度下降和加速梯度下降收敛于时变的奥恩斯坦-乌伦贝克过程，从而实现了在大样本和大迭代极限下对算法动态与统计估计器性能的联合分析。

ABSTRACT

This paper investigates asymptotic behaviors of gradient descent algorithms (particularly accelerated gradient descent and stochastic gradient descent) in the context of stochastic optimization arising in statistics and machine learning where objective functions are estimated from available data. We show that these algorithms can be computationally modeled by continuous-time ordinary or stochastic differential equations. We establish gradient flow central limit theorems to describe the limiting dynamic behaviors of these computational algorithms and the large-sample performances of the related statistical procedures, as the number of algorithm iterations and data size both go to infinity, where the gradient flow central limit theorems are governed by some linear ordinary or stochastic differential equations like time-dependent Ornstein-Uhlenbeck processes. We illustrate that our study can provide a novel unified framework for a joint computational and statistical asymptotic analysis, where the computational asymptotic analysis studies dynamic behaviors of these algorithms with the time (or the number of iterations in the algorithms), the statistical asymptotic analysis investigates large sample behaviors of the statistical procedures (like estimators and classifiers) that the algorithms are applied to compute, and in fact the statistical procedures are equal to the limits of the random sequences generated from these iterative algorithms as the number of iterations goes to infinity. The joint analysis results based on the obtained gradient flow central limit theorems can identify four factors - learning rate, batch size, gradient covariance, and Hessian - to derive new theory regarding the local minima found by stochastic gradient descent for solving non-convex optimization problems.

研究动机与目标

• 开发一个联合渐近框架，同时分析梯度下降算法的动态行为与由此类算法导出的统计估计器的大样本性能。
• 在大数据和大迭代极限下，将随机和加速梯度下降算法建模为连续时间随机微分方程（SDEs）。
• 建立梯度流中心极限定理，描述算法迭代点的极限分布为由线性SDE控制的正态分布。
• 识别并分析四个关键因素——学习率、批量大小、梯度协方差和海森矩阵——在非凸优化中对随机梯度下降所找到局部极小值的影响。
• 通过基于SDE的极限理论，统一计算渐近（算法收敛）与统计渐近（估计器分布）。

提出的方法

• 将梯度下降算法建模为连续时间的常微分方程或随机微分方程（SDEs），特别是使用时变奥恩斯坦-乌伦贝克过程作为极限分布。
• 应用泰勒展开和随机微分计算，推导迭代点在真实参数附近的渐近分布，将算法动态与统计估计联系起来。
• 使用福克-普朗克方程刻画算法状态随时间演化的概率密度，其平稳分布由细致平衡条件导出。
• 推导归一化偏差过程 $ V(t) $ 的极限协方差矩阵 $ \Gamma(\infty) $，该矩阵控制估计器的渐近方差。
• 分析海森矩阵与梯度协方差矩阵在极限下的行为，表明其迹决定了估计器的渐近方差。
• 建立算法迭代点对扩散过程的弱收敛性，通过关联福克-普朗克方程的收敛性与矩条件证明收敛。

实验结果

研究问题

• RQ1 当迭代次数和数据规模趋于无穷大时，梯度下降、随机梯度下降和加速梯度下降的渐近行为如何？
• RQ2 这些算法生成的迭代点的极限分布是什么？如何通过随机微分方程对其进行刻画？
• RQ3 学习率、批量大小、梯度协方差和海森矩阵如何共同影响结果估计器的收敛性与统计特性？
• RQ4 能否构建一个统一框架，以同时分析优化算法的计算动态与它们所计算的估计器的统计特性？
• RQ5 在何种条件下，算法迭代点的归一化偏差收敛于平稳的正态分布？在何种情况下其不收敛？

主要发现

• 归一化偏差过程 $ V^{m}_{\nu}(t) $ 在分布上收敛于均值为零、协方差为 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 的正态分布，其中 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 是线性SDE的解。
• 算法迭代点的极限分布为均值为零、方差为 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 的正态分布，其由福克-普朗克方程的解导出。
• 归一化偏差过程 $ V(t) $ 的平稳分布为协方差为 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 的正态分布，该协方差满足 $ \boldsymbol{\nu}(\boldsymbol{\theta}) = \frac{1}{2} \boldsymbol{\nu}(\boldsymbol{\theta}) \boldsymbol{I\rm H}g(\boldsymbol{\theta}) + \frac{1}{2} \boldsymbol{\nu}(\boldsymbol{\theta}) \boldsymbol{I\rm H}g(\boldsymbol{\theta}) $，在平稳条件下成立。
• 极限协方差矩阵 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 的迹满足 $ \text{tr}[\boldsymbol{\nu}(\boldsymbol{\theta}) \boldsymbol{I\rm H}g(\boldsymbol{\theta})] = \frac{1}{2} \text{tr}[\boldsymbol{\nu}(\boldsymbol{\theta}) \boldsymbol{\nu}(\boldsymbol{\theta})] $，从而与梯度协方差相关联。
• 对于海森矩阵具有负特征值的鞍点，过程 $ V(t) $ 不收敛于平稳分布，因为其协方差随时间发散。
• 估计器的渐近方差由线性SDE的解控制，极限协方差 $ \boldsymbol{\nu}(\boldsymbol{\theta}) $ 由海森矩阵与梯度协方差矩阵决定。