[论文解读] Coupling and Decoupling to bound an approximating Markov Chain

JE Johndrow, JC Mattingly|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Inference参考文献 7被引用 5

一句话总结

本文提出一种基于耦合的方法，通过最大化两个马尔可夫链（一个精确链和一个近似链）的路径一致性，来界定它们之间的近似误差。利用一个主导的两状态链追踪耦合/解耦事件，作者推导出不变测度和收敛速率的显式总变差界，表明近似误差与核距离 $\epsilon$ 呈线性关系，与多布拉林系数 $a$ 呈反比关系，从而实现具有可证明精度保证的高效MCMC。

ABSTRACT

This simple note lays out a few observations which are well known in many ways but may not have been said in quite this way before. The basic idea is that when comparing two different Markov chains it is useful to couple them is such a way that they agree as often as possible. We construct such a coupling and analyze it by a simple dominating chain which registers if the two processes agree or disagree. We find that this imagery is useful when thinking about such problems. We are particularly interested in comparing the invariant measures and long time averages of the processes. However, since the paths agree for long runs, it also provides estimates on various stopping times such as hitting or exit times. We also show that certain bounds are tight. Finally, we provide a simple application to a Markov Chain Monte Carlo algorithm and show numerically that the results of the paper show a good level of approximation at considerable speed up by using an approximating chain rather than the original sampling chain.

研究动机与目标

• 开发一种框架，用于量化目标马尔可夫链与其计算成本更低的替代链之间的近似误差。
• 解决快速近似MCMC算法在保持统计有效性方面所面临的挑战，通过界定其不变测度之间的差异。
• 为高斯过程模型中的低秩近似提供一种实用且理论基础扎实的验证方法。
• 证明耦合技术可产生适用于现实世界MCMC算法的精确、可计算的误差界。

提出的方法

• 构建两个马尔可夫链的最大耦合，以最大化其路径一致性，使用一个主导的两状态链来追踪一致/不一致事件。
• 定义一个边界链，记录两个过程在每一步是否处于耦合或解耦状态，从而支持对耦合时间和不一致概率的分析。
• 应用泊松方程和鞅方法，推导出耦合期望时间及不变测度之间总变差距离的界。
• 利用多布拉林条件建立几何遍历性，并以核距离 $\\epsilon$ 和多布拉林系数 $a$ 的形式推导出显式误差界。
• 将该框架应用于高斯过程模型的低秩近似，以 $\\mathcal{O}(n^2 q)$ 的低秩替代方案取代原有的 $\\mathcal{O}(n^3)$ 矩阵求逆。
• 在贝叶斯空间模型中对理论界进行数值验证，表明近似链在实现显著计算加速的同时，仍能保持高精度。

实验结果

研究问题

• RQ1 当两个马尔可夫链的转移核在总变差范数下接近时，如何界定其不变测度之间的总变差距离？
• RQ2 如何最优地耦合两个马尔可夫链，以最大化其一致性并最小化不一致时间？
• RQ3 是否可以通过一个简单的两状态辅助链来分析耦合时间与不一致概率，该链用于追踪耦合状态？
• RQ4 理论误差界如何随核距离 $\epsilon$ 和多布拉林系数 $a$ 变化？
• RQ5 马尔可夫核的低秩近似在多大程度上能保持原始链的统计特性，以及如何对此进行量化？

主要发现

• 原始链与近似链的不变测度之间的总变差距离被界定为 $\|\mu - \mu_\epsilon\|_{TV} \leq \frac{\epsilon}{a}$，其中 $\epsilon$ 为核距离，$a$ 为多布拉林系数。
• 该耦合构造确保链随时间以高概率实现耦合，且可通过辅助两状态链分析耦合时间分布。
• 不变测度的误差界是紧致的，通过构造一个反例证明该界在特定情形下可达到。
• 该方法可提供时间平均收敛速率的可计算界，方差界呈 $\\mathcal{O}(1/n)$ 形式，浓度不等式形式为 $\mathbf{P}(|\mu f - \frac{1}{n}\sum f(X_k)| \geq \lambda) \leq 2\exp(-\frac{a^2\lambda^2}{32})$。
• 在高斯过程模型中，低秩近似 $\Sigma_\epsilon$ 在 $\epsilon \ll a + \epsilon$ 条件下实现高精度，将计算复杂度从 $\\mathcal{O}(n^3)$ 降低至 $\\mathcal{O}(n^2 q)$，同时保持统计保真度。
• 数值实验表明，近似链的结果与原始链高度接近，且在实际中误差界保持有效，同时实现显著的加速。