[论文解读] Langevin Markov Chain Monte Carlo with stochastic gradients

Charles H. Matthews, Jonathan Weare|arXiv (Cornell University)|May 22, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用 5

一句话总结

该论文提出NOGIN，一种新颖的Langevin MCMC算法，通过使用估计协方差的随机梯度来降低偏差并提高采样效率。该方法在步长上实现二阶偏差，并在使用小批量数据时保持稳定性，在高斯分布和贝叶斯逻辑回归任务中均优于现有方法。

ABSTRACT

Monte Carlo sampling techniques have broad applications in machine learning, Bayesian posterior inference, and parameter estimation. Often the target distribution takes the form of a product distribution over a dataset with a large number of entries. For sampling schemes utilizing gradient information it is cheaper for the derivative to be approximated using a random small subset of the data, introducing extra noise into the system. We present a new discretization scheme for underdamped Langevin dynamics when utilizing a stochastic (noisy) gradient. This scheme is shown to bias computed averages to second order in the stepsize while giving exact results in the special case of sampling a Gaussian distribution with a normally distributed stochastic gradient.

研究动机与目标

• 通过使用随机梯度而非全数据梯度，解决大规模数据集下MCMC采样带来的高计算成本挑战。
• 降低由非定常Langevin动力学中噪声梯度估计器引起的MCMC平均值偏差。
• 在使用小批量数据进行梯度近似时，提高采样效率和稳定性。
• 开发一种在高斯目标且噪声呈正态分布的特殊情况下能保持精确采样的方法。
• 提供一种实用算法，通过考虑梯度协方差来维持涨落-耗散平衡，避免不稳定性。

提出的方法

• 提出一种新的非定常Langevin动力学的离散化方案，使用具有已知协方差的噪声梯度估计器。
• 引入一种改进的速率更新方式，其中阻尼项依赖于梯度协方差矩阵，以稳定动力学。
• 采用对称分裂积分器，包含两个半步长位置更新和一个中心速率更新，以提高数值稳定性。
• 使用一个缩放因子基于摩擦系数与步长双曲正切函数的噪声项，以保持不变测度。
• 从力评估的有限历史中估计梯度协方差矩阵，以自适应调整阻尼。
• 在速率更新中应用类似预条件的校正，以在存在噪声时保持涨落-耗散关系平衡。

实验结果

研究问题

• RQ1 一种基于随机梯度的MCMC方法是否能在保持小批量数据稳定性的同时，实现步长的二阶偏差？
• RQ2 考虑梯度协方差如何影响基于Langevin的MCMC采样器的准确性与混合时间？
• RQ3 梯度噪声方差对随机梯度MCMC的采样效率和所需阻尼有何影响？
• RQ4 当从具有正态分布梯度噪声的高斯目标分布采样时，所提方法是否能保持正确的不变分布？
• RQ5 在真实世界贝叶斯推断任务中，NOGIN算法相较于SGLD、SGNHT、SGHMC和mSGLD在性能与稳定性方面表现如何？

主要发现

• NOGIN在计算平均值中实现步长的二阶偏差，与一阶方法相比显著降低了系统性误差。
• 即使在小批量数据（如n=100）下，该算法仍保持稳定与准确，而其他方法如SGNHT因位置相关的协方差而变得不稳定。
• 在MNIST数据集上的贝叶斯逻辑回归任务中，NOGIN在完成200轮数据遍历后，方差估计误差约为1%，优于SGLD、SGHMC和mSGLD。
• 由于噪声所需增加的阻尼被每步计算成本的降低所抵消，该方法在不同小批量大小下均保持一致的采样效率。
• 当梯度噪声呈正态分布时，NOGIN对二次对数后验分布能精确采样，证实了理论一致性。
• 在高噪声区域观察到的性能平台期是由于过度阻尼导致混合速度减慢，但这一影响被力评估成本的降低所抵消，从而保持了整体效率。