[论文解读] Moving Target Monte Carlo

Haoyun Ying, Keheng Mao+1 more|arXiv (Cornell University)|Mar 10, 2020

Markov Chains and Monte Carlo Methods参考文献 12被引用 6

一句话总结

本文提出移动目标蒙特卡罗（MTMC），一种非马尔可夫链的采样算法，通过迭代更新后验分布的近似以减少对真实后验的昂贵计算。该方法仅在决定接受时使用近似，并且仅在接受时更新近似，从而确保收敛至真实后验，同时最小化不必要的计算，且在温和条件下具备收敛性与收敛速率估计的理论保证。

ABSTRACT

The Markov Chain Monte Carlo (MCMC) methods are popular when considering sampling from a high-dimensional random variable $\mathbf{x}$ with possibly unnormalised probability density $p$ and observed data $\mathbf{d}$. However, MCMC requires evaluating the posterior distribution $p(\mathbf{x}|\mathbf{d})$ of the proposed candidate $\mathbf{x}$ at each iteration when constructing the acceptance rate. This is costly when such evaluations are intractable. In this paper, we introduce a new non-Markovian sampling algorithm called Moving Target Monte Carlo (MTMC). The acceptance rate at $n$-th iteration is constructed using an iteratively updated approximation of the posterior distribution $a_n(\mathbf{x})$ instead of $p(\mathbf{x}|\mathbf{d})$. The true value of the posterior $p(\mathbf{x}|\mathbf{d})$ is only calculated if the candidate $\mathbf{x}$ is accepted. The approximation $a_n$ utilises these evaluations and converges to $p$ as $n ightarrow \infty$. A proof of convergence and estimation of convergence rate in different situations are given.

研究动机与目标

• 解决高维贝叶斯推断中未归一化后验评估的高计算成本问题。
• 通过使用随时间演化的后验近似进行接受决策，减少MCMC中的无效评估。
• 设计一种非马尔可夫链采样方法，即使依赖历史样本也能保持收敛性。
• 为所提算法提供理论收敛保证及收敛速率估计。
• 证明无需目标分布的先验知识，方法可从均匀近似开始。

提出的方法

• MTMC在每次迭代 $ n $ 时使用后验 $ p(\mathbf{x}|\mathbf{d}) $ 的迭代更新近似 $ a_n $ 来计算接受率。
• 仅当候选 $ \mathbf{x} $ 被接受时才评估真实后验 $ p(\mathbf{x}|\mathbf{d}) $，从而最小化昂贵的计算。
• 通过已接受样本更新近似 $ a_n $，确保当 $ n \to \infty $ 时其收敛至真实后验。
• 利用耦合论证证明收敛性，将自适应MCMC技术拓展至处理链的非马尔可夫性质。
• 在独立提议情况下通过特征值分析估计收敛速率，在一般情况下通过耦合论证实现。
• 该方法允许灵活的近似策略，包括基于最近邻或插值的更新，且无需目标分布的先验知识。

实验结果

研究问题

• RQ1 能否设计一种非马尔可夫链采样方法，在减少后验评估的同时仍收敛至真实后验？
• RQ2 如何自适应地更新后验近似，以在不依赖目标分布先验知识的前提下提高接受效率？
• RQ3 何种理论条件可确保基于历史样本的时变接受准则算法的收敛性？
• RQ4 如何对这类自适应算法的收敛速率进行定量界定？
• RQ5 该方法能否应用于后验不可计算或计算代价高昂的场景？

主要发现

• MTMC算法在温和条件下收敛至真实后验分布，即使由于依赖历史样本而链是非马尔可夫的。
• 通过耦合论证证明收敛性，表明采样分布与目标分布之间的距离随时间减小。
• 在独立提议情况下，收敛速率受 $ \|P_m^N - a_m(\cdot)\| \leq (1 - \epsilon)^{\lceil N/N_0 \rceil} $ 限制，其中 $ \epsilon $ 为极小化常数。
• 当近似固定时，收敛速率由Doeblin条件及最小提议密度比决定，在连续性和紧致性假设下可导出显式边界。
• 该方法对初始近似的选择具有鲁棒性——即使使用均匀分布作为初始近似，只要满足定理4.6中的两个条件，即可保证收敛。
• 该框架支持自适应近似策略，例如根据局部行为在不同插值或回归方法间切换，且不牺牲理论保证。