[论文解读] Asymptotic and finite-sample properties of estimators based on stochastic gradients

Toulis, Panos, Airoldi, Edoardo M.|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 82被引用 8

一句话总结

本文提出隐式随机梯度下降（SGD），这是一种数值稳定的标准SGD替代方法，通过观测到的费雪信息量隐式缩小更新，从而提高学习率误设下的鲁棒性。作者推导了精确的渐近方差和有限样本误差界，表明隐式SGD在统计效率上与显式SGD相当，同时在实践中显著更稳定。

ABSTRACT

Stochastic gradient descent procedures have gained popularity for parameter estimation from large data sets. However, their statistical properties are not well understood, in theory. And in practice, avoiding numerical instability requires careful tuning of key parameters. Here, we introduce implicit stochastic gradient descent procedures, which involve parameter updates that are implicitly defined. Intuitively, implicit updates shrink standard stochastic gradient descent updates. The amount of shrinkage depends on the observed Fisher information matrix, which does not need to be explicitly computed; thus, implicit procedures increase stability without increasing the computational burden. Our theoretical analysis provides the first full characterization of the asymptotic behavior of both standard and implicit stochastic gradient descent-based estimators, including finite-sample error bounds. Importantly, analytical expressions for the variances of these stochastic gradient-based estimators reveal their exact loss of efficiency. We also develop new algorithms to compute implicit stochastic gradient descent-based estimators for generalized linear models, Cox proportional hazards, M-estimators, in practice, and perform extensive experiments. Our results suggest that implicit stochastic gradient descent procedures are poised to become a workhorse for approximate inference from large data sets

研究动机与目标

• 为解决标准随机梯度下降（SGD）在大规模统计估计中的数值不稳定性问题。
• 开发一种理论基础坚实的稳定替代方法，用于显式SGD，同时保持统计效率。
• 为显式和隐式SGD方法推导有限样本误差界和渐近方差表达式。
• 展示隐式SGD在广义线性模型、Cox比例风险模型和M-估计器中的实际适用性和鲁棒性。

提出的方法

• 提出隐式SGD，其中参数更新通过包含梯度和学习率的固定点方程隐式定义。
• 使用贝叶斯解释，将隐式更新视为在精度与学习率成正比的正态先验下后验众数。
• 利用鞅和集中不等式，为隐式SGD迭代推导有限样本均方误差界。
• 利用鞅中心极限定理，建立显式和隐式SGD的渐近正态性和精确渐近方差表达式。
• 开发算法1，用于在指数族模型中高效计算隐式更新，利用类似牛顿-拉夫森的固定点迭代。
• 将该方法应用于广义线性模型、Cox比例风险模型和M-估计，针对非指数族模型设计定制化计算策略。

实验结果

研究问题

• RQ1 隐式SGD的有限样本和渐近性质与标准显式SGD相比如何？
• RQ2 隐式SGD的精确渐近方差是什么？它与统计效率和费雪信息量有何关系？
• RQ3 隐式SGD能否在不增加额外计算成本的情况下在实际中高效计算？
• RQ4 与显式SGD相比，隐式SGD对学习率误设的鲁棒性如何？
• RQ5 隐式SGD能否扩展到梯度不满足标准假设的模型，如非指数族模型？

主要发现

• 隐式SGD实现了与显式SGD相同的渐近效率，其精确渐近方差由定理2.2给出，依赖于观测到的费雪信息矩阵。
• 推导出隐式SGD的有限样本均方误差界，并表明在相同学习率调度下，其界比显式SGD更紧。
• 理论分析确认隐式SGD渐近正态，收敛于以真实参数为中心的正态分布。
• 隐式SGD表现出优越的数值稳定性：初始条件被指数快速衰减，且对学习率误设具有鲁棒性。
• 在GLMs、Cox模型和M-估计器中的实验表明，隐式SGD在稳定性和收敛性方面优于显式SGD，尤其在学习率选择不佳时。
• 由于隐式更新机制的内在收缩效应，隐式SGD可使用恒定学习率而不引起不稳定性，而显式SGD则不能。