[论文解读] Implicit stochastic gradient descent for principled estimation with large datasets

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 59被引用 6

一句话总结

本文提出隐式随机梯度下降（ISGD），一种针对大规模数据集的鲁棒估计方法，通过基于观测费雪信息的收缩机制隐式定义迭代过程，无需手动调整学习率。ISGD 在广义线性模型和指数族模型中相比显式随机梯度下降展现出更优的稳定性和效率，并具备偏差、方差和效率损失的理论保证。

ABSTRACT

Efficient optimization procedures, such as stochastic gradient descent, have been gaining popularity for estimation tasks with large amounts of data. In this paper, we introduce an implicit stochastic gradient descent estimation procedure that ameliorates the procedures derived from stochastic approximations a la Robbins & Monro (1951), termed explicit for contrast, by using iterates that are implicitly defined. The implicit iterates are shrinked versions of the explicit iterates, and it can be shown that the amount of shrinkage depends on the observed Fisher information, but this latter quantity needs not be directly computed. The implicit procedure is thus robust to the choice of a scalar hyper-parameter in stochastic gradient descent, known as the learning rate, that affects its asymptotic statistical properties. In contrast, the explicit procedure requires the learning rate to agree with the eigenvalues of the Fisher information matrix of the underlying model parameters in order to be stable. In the context of generalized linear models, we derive analytic formulas for the asymptotic bias and variance of both procedures as estimation methods, and quantify their efficiency loss compared to maximum likelihood. We also show how loss in efficiency can be avoided through careful choice of the parameterization. Our analysis naturally extends to exponential family models, and to a general class of estimation methods through Monte-Carlo stochastic gradient descent, in problems where the likelihood is hard to compute but where it is easy to sample from the underlying model. We demonstrate our theory in an extensive set of experiments involving real and simulated data. Implicit stochastic gradient descent compares favorably to other popular estimation methods, and it is a superior form of stochastic gradient descent when it can be implemented efficiently. 1 ar

研究动机与目标

• 解决显式随机梯度下降在大规模估计任务中因学习率敏感而导致的不稳定性问题。
• 提出一种基于原则的估计方法，保持统计效率，同时无需精确调参。
• 证明隐式更新自然地整合了费雪信息，从而提升鲁棒性并改善渐近性质。
• 将该框架扩展至指数族模型，并应用于似然函数不可计算的场景，结合蒙特卡洛随机梯度下降。
• 通过理论和实证分析验证 ISGD 在偏差、方差和效率方面相较于标准随机梯度下降的优越性。

提出的方法

• 提出一种隐式更新规则，其中每个迭代点通过不动点方程隐式定义，避免显式依赖学习率。
• 采用一种收缩机制，根据观测费雪信息缩放更新，而无需显式计算该信息。
• 推导广义线性模型中 ISGD 和显式 SGD 的渐近偏差与方差的解析表达式。
• 证明隐式方法的收缩效应可稳定收敛过程，尤其在学习率设定不当的情况下。
• 通过蒙特卡洛采样近似得分函数，将该方法扩展至似然函数不可计算的模型。
• 证明通过合适的参数化选择可消除 ISGD 的效率损失，使其与最大似然估计对齐。

实验结果

研究问题

• RQ1 隐式随机梯度下降在大规模估计中相比显式随机梯度下降如何提升稳定性？
• RQ2 在随机优化背景下，隐式更新与费雪信息之间存在何种理论关系？
• RQ3 在广义线性模型中，ISGD 相比显式 SGD 在偏差和方差方面改善程度如何？
• RQ4 ISGD 能否实现接近最大似然估计的效率？在何种参数化条件下可实现？
• RQ5 在似然函数不可计算的模型中，ISGD 表现如何？蒙特卡洛近似是否能保持其统计优势？

主要发现

• 隐式随机梯度下降表现出更优的稳定性，因其更新量天然由观测费雪信息缩放，从而降低对学习率选择的敏感性。
• ISGD 的渐近偏差与方差已通过解析推导得出，且在学习率非最优时，其性能优于显式 SGD。
• 通过适当的参数化，可避免 ISGD 相对于最大似然估计的效率损失，使其具备渐近效率。
• 在广义线性模型中，ISGD 在各种学习率设置下均表现出低于显式 SGD 的均方误差。
• 该方法可自然扩展至指数族模型和蒙特卡洛随机梯度下降，在似然函数不可计算时仍保持鲁棒性。
• 真实与模拟数据的实证结果表明，ISGD 在收敛性和估计精度方面均优于标准随机梯度下降及其他主流估计方法。