[论文解读] Estimating Convergence of Markov chains with L-Lag Couplings

Niloy Biswas, Pierre Jacob+1 more|arXiv (Cornell University)|May 23, 2019

Markov Chains and Monte Carlo Methods参考文献 56被引用 10

一句话总结

本文引入L-滞后耦合方法，以估计在固定时间t时，马尔可夫链的边际分布与平稳分布之间总变差距离或Wasserstein距离的非渐近上界。通过耦合两条滞后L的链并监测其相遇时间，该方法为MCMC算法提供了可计算的、实用的收敛诊断工具，可用于评估烧除期、比较不同算法以及在序列蒙特卡洛和重要性采样中评估偏差。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods generate samples that are asymptotically distributed from a target distribution of interest as the number of iterations goes to infinity. Various theoretical results provide upper bounds on the distance between the target and marginal distribution after a fixed number of iterations. These upper bounds are on a case by case basis and typically involve intractable quantities, which limits their use for practitioners. We introduce L-lag couplings to generate computable, non-asymptotic upper bound estimates for the total variation or the Wasserstein distance of general Markov chains. We apply L-lag couplings to the tasks of (i) determining MCMC burn-in, (ii) comparing different MCMC algorithms with the same target, and (iii) comparing exact and approximate MCMC. Lastly, we (iv) assess the bias of sequential Monte Carlo and self-normalized importance samplers.

研究动机与目标

• 解决在马尔可夫链蒙特卡洛（MCMC）方法中，边际分布πₜ与平稳分布π之间距离缺乏可计算、非渐近界的问题。
• 开发一种实用的MCMC收敛评估工具，不依赖渐近近似或难以计算的常数。
• 实现对不同MCMC算法、精确与近似MCMC之间的比较，以及在序列蒙特卡洛和自归一化重要性采样中进行偏差评估。
• 将耦合方法的应用范围从1-滞后耦合扩展至L-滞后耦合，以获得更紧的界，尤其在小t值时表现更优。

提出的方法

• 构建L-滞后耦合的马尔可夫链（Xₜ, Yₜ），使得Xₜ与Yₜ₋ₗ通过一个联合核K̄耦合，确保它们在随机时间τ⁽ᴸ⁾后恰好相遇。
• 相遇时间τ⁽ᴸ⁾定义为满足t > L的首个时间点，使得Xₜ = Yₜ₋ₗ，且此后链保持耦合。
• 该方法利用链尚未相遇的概率P(τ⁽ᴸ⁾ > t)来估计πₜ与π之间的总变差或Wasserstein距离。
• 对于基于梯度的MCMC算法（如MALA和ULA），采用反射最大耦合方法，以在每一步最大化相遇概率。
• 对于粒子MCMC，采用耦合的粒子独立Metropolis–Hastings（PIMH）算法，使得τ⁽ᴸ⁾ = L的概率为正。
• 该方法应用于伊辛模型上的吉布斯采样器，以及使用MALA和ULA的高维对数凹目标分布。

实验结果

研究问题

• RQ1 L-滞后耦合能否为固定t提供πₜ与π之间距离的可计算、非渐近上界？
• RQ2 滞后L的选择如何影响收敛界在小t值时的紧致性？
• RQ3 L-滞后耦合能否用于评估MCMC采样中的烧除期？
• RQ4 该方法能否有效比较针对同一分布的不同MCMC算法？
• RQ5 该方法能否检测并量化序列蒙特卡洛和自归一化重要性采样器中的偏差？

主要发现

• L-滞后耦合为πₜ与π之间的总变差距离和Wasserstein距离提供了可计算、非渐近的上界，这些界在标准理论界中不可得，因为涉及难以计算的常数。
• 由于延迟耦合机制，该方法相比1-滞后耦合能获得更紧的界，尤其在t值较小时表现更优。
• 该方法在离散（伊辛模型）和连续（对数凹目标）设置下，成功识别出MCMC链的合适烧除期。
• 该方法能够通过量化其趋近目标分布的收敛性，有效比较精确与近似MCMC算法（如MALA与ULA）。
• 该技术能检测序列蒙特卡洛和自归一化重要性采样器中的偏差，为理论偏差分析提供一种计算替代方案。
• 在高维目标（d = 1000）上的数值实验表明，该方法保持有效且可计算，且随着t增加，收敛界持续减小。