[论文解读] Implicit stochastic gradient descent

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|Aug 13, 2014

Stochastic Gradient Optimization Techniques参考文献 84被引用 3

一句话总结

本文提出隐式随机梯度下降（ISGD），一种在大规模参数估计中具有数值稳定性和统计高效性的优化方法。通过隐式地基于观测到的费雪信息量缩小标准更新（而无需显式计算），ISGD 提升了稳定性与效率，尤其在结合平均化时，可在广义线性模型、Cox 模型和 M-估计中实现最优渐近性质。

ABSTRACT

Stochastic optimization procedures, such as stochastic gradient descent, have gained popularity for parameter estimation from large data sets. However, standard stochastic optimization procedures cannot effectively combine numerical stability with statistical and computational efficiency. Here, we introduce an implicit stochastic gradient descent procedure, the iterates of which are implicitly defined. Intuitively, implicit iterates shrink the standard iterates. The amount of shrinkage depends on the observed Fisher information matrix, which does not need to be explicitly computed in practice, thus increasing stability without increasing the computational burden. When combined with averaging, the proposed procedure achieves statistical efficiency as well. We derive non-asymptotic bounds and characterize the asymptotic distribution of implicit procedures. Our analysis also reveals the asymptotic variance of a number of existing procedures. We demonstrate implicit stochastic gradient descent by further developing theory for generalized linear models, Cox proportional hazards, and M-estimation problems, and by carrying out extensive experiments. Our results suggest that the implicit stochastic gradient descent procedure is poised to become the workhorse of estimation with large data sets.

研究动机与目标

• 解决大规模数据下随机优化中数值稳定性与统计效率之间的权衡问题。
• 开发一种在不增加计算成本的前提下保持稳定性的随机梯度方法。
• 通过自适应缩小标准迭代的隐式更新实现统计效率。
• 刻画所提出方法的渐近分布与非渐近界。
• 将该方法推广至广义线性模型、Cox 比例风险模型及 M-估计，并进行理论与实证验证。

提出的方法

• 引入一种隐式更新规则，其中每个迭代点被定义为包含梯度与观测费雪信息量的固定点方程的解。
• 在更新中隐式使用观测费雪信息矩阵，避免显式计算，从而保持计算效率。
• 对迭代点应用平均化，以提升统计效率并降低方差。
• 推导非渐近风险界，并刻画估计量的渐近分布。
• 利用隐式更新在高曲率区域自然缩小步长，从而增强数值稳定性。
• 将该框架推广至指数族模型、生存模型（Cox）及 M-估计问题。

实验结果

研究问题

• RQ1 隐式随机梯度下降能否在大规模估计中同时实现数值稳定性和统计效率？
• RQ2 基于观测费雪信息量的隐式更新规则与标准 SGD 相比，对收敛性与方差有何影响？
• RQ3 该隐式估计量在不同统计模型下的非渐近与渐近性质是什么？
• RQ4 平均化在多大程度上提升了隐式方法的效率？
• RQ5 该方法在广义线性模型、Cox 比例风险模型及 M-估计问题上的实际表现如何？

主要发现

• 隐式随机梯度下降通过基于局部曲率的观测费雪信息量隐式缩小更新，在数值稳定性方面表现优越。
• 由于费雪信息量在更新规则中未被显式计算，该方法保持了计算效率。
• 当与平均化结合时，ISGD 实现了与完整似然估计器相当的统计效率。
• 推导出非渐近风险界，表明在弱正则性条件下具有改进的收敛行为。
• 刻画了估计量的渐近分布，并通过该框架揭示了现有方法的渐近方差。
• 实证结果表明，该方法在广义线性模型、Cox 模型及 M-估计中均表现出色，支持其作为大规模推断标准工具的潜力。