[论文解读] On stochastic gradient Langevin dynamics with dependent data streams in the logconcave case

Mathias Barkhagen, Nancy H. Chau+4 more|arXiv (Cornell University)|Dec 6, 2018

Markov Chains and Monte Carlo Methods参考文献 31被引用 5

一句话总结

本文研究当精确梯度不可用但可从依赖性数据流中获得无偏估计时，对对数凹后验分布进行采样的随机梯度朗之万动力学（SGLD）。在强凸性和梯度Lipschitz连续性假设下，建立了算法分布与目标分布之间Wasserstein-2距离的显式上界，其常数依赖于势函数的曲率和维度。

ABSTRACT

We study the problem of sampling from a probability distribution $π$ on $ set^d$ which has a density \wrt\ the Lebesgue measure known up to a normalization factor $x \mapsto me^{-U(x)} / \int_{ set^d} me^{-U(y)} md y$. We analyze a sampling method based on the Euler discretization of the Langevin stochastic differential equations under the assumptions that the potential $U$ is continuously differentiable, $ abla U$ is Lipschitz, and $U$ is strongly concave. We focus on the case where the gradient of the log-density cannot be directly computed but unbiased estimates of the gradient from possibly dependent observations are available. This setting can be seen as a combination of a stochastic approximation (here stochastic gradient) type algorithms with discretized Langevin dynamics. We obtain an upper bound of the Wasserstein-2 distance between the law of the iterates of this algorithm and the target distribution $π$ with constants depending explicitly on the Lipschitz and strong convexity constants of the potential and the dimension of the space. Finally, under weaker assumptions on $U$ and its gradient but in the presence of independent observations, we obtain analogous results in Wasserstein-2 distance.

研究动机与目标

• 研究当势函数U的精确梯度未知时，从对数凹目标分布π中进行采样的问题。
• 分析当梯度估计来自依赖性数据流而非i.i.d.观测时，随机梯度朗之万动力学（SGLD）的收敛性质。
• 推导SGLD迭代分布与目标分布π之间Wasserstein-2距离的显式上界。
• 当数据流为独立时，将这些结果推广至对U及其梯度的更弱假设下。
• 量化强凸性与∇U的Lipschitz常数，以及维度d对SGLD收敛速率的影响。

提出的方法

• 将未调整的朗之万算法（ULA）表述为过阻尼朗之万SDE dθt = -∇U(θt)dt + √2 dBt的Euler-Maruyama时间离散化。
• 引入一种随机梯度变体，其中∇U(θn)由来自可能依赖性数据流（Xn）的无偏估计H(θn, Xn+1)替代。
• 假设数据流(Xn)为严格平稳过程，且对所有θ满足E[H(θ, Xn)] = ∇U(θ)，以确保无偏性。
• 使用耦合论证和依赖过程的矩界，利用混合系数γr(τ)和矩条件Mr控制由有偏梯度估计引入的误差。
• 在连续时间嵌入中应用Minkowski不等式与Cauchy-Schwarz不等式，推导过程增量的矩界。
• 推导出SGLD分布与目标π之间Wasserstein-2距离的显式上界，其常数依赖于强凸性参数、∇U的Lipschitz常数及维度d。

实验结果

研究问题

• RQ1 当梯度估计基于依赖性数据流而非i.i.d.样本时，SGLD的收敛性如何退化？
• RQ2 在对数凹假设下，SGLD迭代与目标分布π之间Wasserstein-2距离的显式上界为何？
• RQ3 势函数U的强凸性与Lipschitz连续性如何影响具有依赖梯度的SGLD的收敛速率？
• RQ4 当数据流为独立时，能否将收敛性分析推广至对U及其梯度的更弱假设？
• RQ5 混合系数与矩条件在控制依赖梯度估计引入的误差中起什么作用？

主要发现

• 在U连续可微、∇U为Lipschitz连续且U为强凸的假设下，本文推导出SGLD迭代与目标分布π之间Wasserstein-2距离的显式上界。
• 该上界显式依赖于U的强凸性常数、∇U的Lipschitz常数及维度d，主结果中不依赖于数据流的混合速率。
• 在独立观测情况下，基于对U和∇U的更弱假设，同样在Wasserstein-2距离下建立了类似收敛结果。
• 该分析依赖于使用混合系数γr(τ)和矩条件Mr控制随机梯度引入偏差的依赖过程矩界。
• 所推导的上界为非渐近形式，适用于有限时间T，且显式依赖于步长λ和过程的路径行为。
• 通过Minkowski不等式对一维矩界的逐分量应用，实现了对一般d维问题的结果推广。