[论文解读] Consistency and fluctuations for stochastic gradient Langevin dynamics

Yee Whye Teh, Alexandre H. Thiéry+1 more|arXiv (Cornell University)|Sep 1, 2014

Markov Chains and Monte Carlo Methods参考文献 30被引用 16

一句话总结

本文对随机梯度朗之万动力学（SGLD）进行了严格的数学分析，证明了在可验证条件下其一致性和渐近正态性。研究确立了最优步长序列为 $\delta_m \asymp m^{-1/3}$，从而实现均方误差衰减速率为 $\mathcal{O}(m^{-1/3})$，在大规模贝叶斯推断中平衡了后验分布估计的偏差与方差。

ABSTRACT

Applying standard Markov chain Monte Carlo (MCMC) algorithms to large data sets is computationally expensive. Both the calculation of the acceptance probability and the creation of informed proposals usually require an iteration through the whole data set. The recently proposed stochastic gradient Langevin dynamics (SGLD) method circumvents this problem by generating proposals which are only based on a subset of the data, by skipping the accept-reject step and by using decreasing step-sizes sequence $(δ_m)_{m \geq 0}$. %Under appropriate Lyapunov conditions, We provide in this article a rigorous mathematical framework for analysing this algorithm. We prove that, under verifiable assumptions, the algorithm is consistent, satisfies a central limit theorem (CLT) and its asymptotic bias-variance decomposition can be characterized by an explicit functional of the step-sizes sequence $(δ_m)_{m \geq 0}$. We leverage this analysis to give practical recommendations for the notoriously difficult tuning of this algorithm: it is asymptotically optimal to use a step-size sequence of the type $δ_m \asymp m^{-1/3}$, leading to an algorithm whose mean squared error (MSE) decreases at rate $\mathcal{O}(m^{-1/3})$

研究动机与目标

• 为随机梯度朗之万动力学（SGLD）建立严格的理论基础，SGLD是一种适用于大规模贝叶斯推断的可扩展MCMC方法。
• 证明在可验证的正则性条件下，SGLD具有一致性并满足中心极限定理。
• 通过步长序列的显式函数表征SGLD的渐近偏差-方差分解。
• 推导最小化后验估计器均方误差（MSE）的最优步长序列。
• 基于渐近收敛速率，提供SGLD的实际调参指导。

提出的方法

• 通过离散李雅普诺夫函数方法，在漂移与极小化条件下建立SGLD迭代序列的矩有界性与几乎必然有界性。
• 采用生成子方法分析SGLD过程的无穷小生成子，并将其与目标后验分布关联。
• 当在时间缩放的非齐次时间尺度上观测时，推导出SGLD过程的扩散极限，表明其收敛至朗之万扩散过程。
• 在适当的矩条件与混合条件下，为SGLD路径函数的样本均值建立中心极限定理。
• 通过步长序列 $\delta_m$ 的显式函数表征偏差-方差分解，从而实现MSE的优化。
• 通过线性高斯模型与逻辑斯蒂回归上的数值实验验证理论结果，确认理论预测的准确性。

实验结果

研究问题

• RQ1 在何种条件下，SGLD在样本量趋于无穷时收敛至真实后验分布？
• RQ2 SGLD估计器的渐近分布为何？其是否满足中心极限定理？
• RQ3 步长序列 $\delta_m$ 的选择如何影响SGLD估计器的偏差与方差？
• RQ4 在SGLD中，使后验估计器均方误差最小化的最优步长衰减率为何？
• RQ5 SGLD算法能否通过调参实现MSE意义下的可证明最优收敛速率？

主要发现

• 在可验证的矩条件与漂移条件下，SGLD具有一致性，确保随着迭代次数增加，其收敛至真实后验分布。
• SGLD估计器满足中心极限定理，其渐近方差由步长序列与目标后验分布的曲率共同决定。
• SGLD的渐近偏差-方差分解可通过步长序列 $\delta_m$ 的显式函数精确表征。
• 最优步长序列为 $\delta_m \asymp m^{-1/3}$，该选择可最小化后验估计器的均方误差。
• 在此最优选择下，SGLD的均方误差以 $\mathcal{O}(m^{-1/3})$ 的速率收敛，由于步长递减，该速率慢于标准蒙特卡洛方法的 $m^{-1/2}$ 速率。
• 在线性高斯模型与逻辑斯蒂回归模型上的数值结果验证了理论预测的一致性、中心极限定理及最优步长调参的有效性。