[论文解读] Maximal couplings of the Metropolis-Hastings algorithm

John R. O’Leary, Guanyang Wang+1 more|arXiv (Cornell University)|Oct 16, 2020

Markov Chains and Monte Carlo Methods参考文献 36被引用 5

一句话总结

本文提出了马尔可夫链蒙特卡洛算法中最大耦合方法，其一步会合概率达到耦合不等式所定义的理论上限。通过构建联合提议与接受分布，在标准MH假设下实现可实施性的同时最大化会合概率，作者提出了三种新型耦合算法——$ar{P}_{∕ ext{MR}}$、$ar{P}_{∕ ext{SQ}}$ 和 $ar{P}_{∕ ext{C}}$，显著优于现有方法，在收缩速度与会合时间方面均有提升。

ABSTRACT

Couplings play a central role in the analysis of Markov chain Monte Carlo algorithms and appear increasingly often in the algorithms themselves, e.g. in convergence diagnostics, parallelization, and variance reduction techniques. Existing couplings of the Metropolis-Hastings algorithm handle the proposal and acceptance steps separately and fall short of the upper bound on one-step meeting probabilities given by the coupling inequality. This paper introduces maximal couplings which achieve this bound while retaining the practical advantages of current methods. We consider the properties of these couplings and examine their behavior on a selection of numerical examples.

研究动机与目标

• 弥合理论上的耦合会合概率上限与马尔可夫链蒙特卡洛算法实际实现之间的差距。
• 开发可实施的耦合方法，使其在耦合不等式约束下实现最大可能的一步会合概率。
• 通过增强收缩与会合时间，改进收敛性诊断、并行化处理与方差缩减。
• 探索提议耦合策略与接受耦合之间在实现最大耦合性能方面的相互作用。
• 在高维与多峰目标分布上评估最大耦合的实证性能。

提出的方法

• 提出一种构建MH转移核最大耦合的框架，通过联合耦合提议分布与接受指示变量，以最大化每一步状态相等的概率。
• 提出三种耦合算法：$ar{P}_{∕ ext{MR}}$ 基于提议的极大反射耦合，$ar{P}_{∕ ext{SQ}}$ 为现有方法的启发式扩展，$ar{P}_{∕ ext{C}}$ 为改进的变体，具有更优的收缩性能。
• 以耦合不等式作为基准：最大耦合实现 $ℓ(X=Y) = 1 - \|\mu - \nu\|_{∕\text{TV}}$，即会合概率的理论上限。
• 采用反射耦合处理提议分布 ($π_{∕\text{MR}}$) 以最大化收缩，同时通过接受指标的联合伯努利耦合确保与接受步骤的兼容性。
• 将该方法应用于独立与相依耦合策略，表明提议的最大耦合可带来更快的收缩与更高的会合概率。
• 通过在正态目标与高维高斯目标上的数值实验验证该方法，比较会合时间与收缩行为。

实验结果

研究问题

• RQ1 在可实施的MH核耦合中，是否能达到一步会合概率的理论上限？
• RQ2 不同提议耦合策略（如反射耦合与独立耦合）如何影响MH耦合中的收缩与会合时间？
• RQ3 耦合的最大化在多大程度上能转化为收敛性诊断与方差缩减方面的性能提升？
• RQ4 在高维场景下，最大耦合是否在会合时间与收缩率方面优于标准耦合？
• RQ5 是否可在仅依赖标准MH假设（如提议抽样、密度评估、接受率）的前提下，构造出最大耦合，而无需额外信息？

主要发现

• 所提出的最大耦合 ($\bar{P}_{∕\text{MR}}$、$\bar{P}_{∕\text{SQ}}$、$\bar{P}_{∕\text{C}}$) 达到了由耦合不等式保证的一步会合概率理论上限。
• 在高维示例（$d=100$）中，$\bar{P}_{∕\text{MR}}$ 与 $\bar{P}_{∕\text{SQ}}$ 搭配 $\bar{Q}_{∕\text{MR}}$ 能迅速收缩至会合可行区域，而其他耦合方式则表现出可忽略的收缩。
• 使用 $\bar{Q}_{∕\text{MR}}$ 的 $\bar{P}_{∕\text{SQ}}$ 耦合展现出快于使用相同提议耦合的 $\bar{P}_{∕\text{C}}$ 的收缩速度，表明其在高维场景下性能更强。
• 基于独立或近乎独立的 $X,Y$ 对的耦合（如 $\bar{P}_{∕\text{MI}}$）表现出极小甚至可忽略的收缩，导致会合概率极低。
• 最大耦合在会合时间与收缩性能方面显著优于标准耦合，尤其当提议与接受机制对齐时优势更明显。
• 结果表明，最大耦合的益处最显著于与强收缩策略（如反射耦合）结合时；仅具备最大性本身并不能保证快速会合。