[论文解读] Quantifying the accuracy of approximate diffusions and Markov chains

Jonathan H. Huggins, James Zou|arXiv (Cornell University)|May 20, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用 5

一句话总结

本文提出一个通用框架，通过将平衡分布之间的 Wasserstein 距离与漂移偏差和混合速率关联，量化近似扩散过程和马尔可夫链的精度。关键结果表明，在计算资源受限的情况下，使用快速近似梯度的未调整 Langevin 动力学（ULA）可比使用精确梯度获得更精确的样本，尤其在大规模数据集的高维设置下表现更优。

ABSTRACT

Markov chains and diffusion processes are indispensable tools in machine learning and statistics that are used for inference, sampling, and modeling. With the growth of large-scale datasets, the computational cost associated with simulating these stochastic processes can be considerable, and many algorithms have been proposed to approximate the underlying Markov chain or diffusion. A fundamental question is how the computational savings trade off against the statistical error incurred due to approximations. This paper develops general results that address this question. We bound the Wasserstein distance between the equilibrium distributions of two diffusions as a function of their mixing rates and the deviation in their drifts. We show that this error bound is tight in simple Gaussian settings. Our general result on continuous diffusions can be discretized to provide insights into the computational-statistical trade-off of Markov chains. As an illustration, we apply our framework to derive finite-sample error bounds of approximate unadjusted Langevin dynamics. We characterize computation-constrained settings where, by using fast-to-compute approximate gradients in the Langevin dynamics, we obtain more accurate samples compared to using the exact gradients. Finally, as an additional application of our approach, we quantify the accuracy of approximate zig-zag sampling. Our theoretical analyses are supported by simulation experiments.

研究动机与目标

• 解决近似采样算法中计算效率与统计精度之间的根本权衡问题。
• 为精确与近似扩散过程的平衡分布偏差建立通用误差界。
• 刻画在固定计算预算下，近似梯度 Langevin 动力学优于精确梯度方法的设置条件。
• 将该框架扩展至如 zig-zag 采样器等分段确定性过程。
• 提供有限样本误差界，以量化实际 MCMC 算法中计算与统计之间的权衡。

提出的方法

• 基于漂移偏差和混合速率，推导出两个扩散过程平衡分布之间 Wasserstein 距离的上界（定理 3.1）。
• 通过利用连续时间结果和离散化一致性，将扩散误差界应用于离散化 Langevin 动力学。
• 使用泰勒展开近似未调整 Langevin 动力学中的真实漂移，从而分析梯度近似误差。
• 通过结合混合速率、漂移偏差以及对对数密度及其导数的正则性假设，建立近似 ULA 的有限样本误差界。
• 通过将误差界扩展至非可逆、分段确定性的马尔可夫过程，将该框架应用于 zig-zag 过程。
• 采用集中与正则性条件（如有界 Hessian 矩阵、Lipschitz 梯度）来控制真实与近似漂移之间的偏差。

实验结果

研究问题

• RQ1 在何种条件下，使用 Langevin 动力学中的近似梯度可使平衡分布的精度优于使用精确梯度？
• RQ2 平衡分布之间的偏差如何随漂移差异和扩散过程混合速率的变化而变化？
• RQ3 为扩散过程推导出的理论误差界能否有效离散化，以分析 ULA 等马尔可夫链采样器？
• RQ4 在何种计算环境下，由于更快的混合速度或更低的方差，近似采样会优于精确采样？
• RQ5 当使用近似充分统计量或子采样梯度时，zig-zag 采样器的精度如何？

主要发现

• 两个扩散过程平衡分布之间的 Wasserstein 距离由与漂移偏差平方根成正比、与混合速率成反比的项所界定，且在高斯设定下验证了该边界的紧致性。
• 对于未调整 Langevin 动力学，精确梯度的误差界为 $\tilde{O}(d/(TN))$，而近似梯度的误差界为 $\tilde{O}(d^2/(N^2T) + d^3/N^2)$，表明在 $N$ 较大时近似可提升精度。
• 在高维设置与大规模数据集下，当计算预算受限时，使用子采样或计算快速的梯度的近似 ULA 可实现低于精确 ULA 的误差。
• 该框架证实，当漂移近似误差受到控制时，近似 zig-zag 采样可保持精度，且误差界基于同一通用原理推导得出。
• 理论边界得到模拟实验的支持，实验验证了计算与统计精度之间预测的权衡关系。
• 分析表明，当 $N$ 较大时，计算精确梯度的成本更应投入于使用近似梯度进行更多次迭代，以获得更优结果。