[论文解读] Adaptive Gibbs samplers

Krzysztof Łatuszyński, Jeffrey S. Rosenthal|arXiv (Cornell University)|Jan 16, 2010

Markov Chains and Monte Carlo Methods参考文献 41被引用 5

一句话总结

本文研究了自适应吉布斯采样器，其在马尔可夫链蒙特卡洛（MCMC）模拟过程中动态调整选择概率和提议分布，以改善混合效率和收敛性。文中提出一个反例，表明朴素的自适应方法可能导致非遍历行为，并建立了自适应随机扫描吉布斯采样器（包括带与不带吉布斯内梅特罗波利斯步骤的版本）保持遍历性并收敛至目标分布的充分条件。

ABSTRACT

We consider various versions of adaptive Gibbs and Metropolis within-Gibbs samplers, which update their selection probabilities (and perhaps also their proposal distributions) on the fly during a run, by learning as they go in an attempt to optimise the algorithm. We present a cautionary example of how even a simple-seeming adaptive Gibbs sampler may fail to converge. We then present various positive results guaranteeing convergence of adaptive Gibbs samplers under certain conditions.

研究动机与目标

• 解决因坐标选择概率次优而导致高维吉布斯采样器混合效率低下的挑战。
• 研究在线学习并动态更新选择概率的自适应算法是否仍能确保收敛至目标分布。
• 识别并纠正先前关于自适应吉布斯采样器理论主张中的缺陷，特别是关于遍历性的论述。
• 建立自适应随机扫描吉布斯采样器与吉布斯内梅特罗波利斯采样器保持遍历性的严格条件。

提出的方法

• 提出自适应随机扫描吉布斯采样器（AdapRSG），其基于历史模拟输出更新坐标选择概率。
• 引入自适应随机扫描吉布斯内梅特罗波利斯采样器（AdapRSMwG），其同时自适应调整选择概率与提议分布。
• 分析自适应随机扫描自适应吉布斯内梅特罗波利斯采样器（AdapRSadapMwG），其联合自适应调整选择权重与提议分布，以模拟现实世界中的统计遗传学应用。
• 使用随机耦合与随机序技术，将自适应链与参考出生-死亡过程进行比较，以建立随机优势与遍历性。
• 通过反例（例3.1）证明，即使看似设计良好的自适应吉布斯采样器也可能无法收敛，从而推翻[24]的先前结果。
• 应用引理8.4，通过迭代耦合将自适应链与参考过程连接，证明仅当自适应受控时，自适应链才随机支配一个瞬态过程。

实验结果

研究问题

• RQ1 在模拟过程中更新选择概率的自适应吉布斯采样器是否仍能收敛至正确的目标分布？
• RQ2 保证自适应随机扫描吉布斯采样器遍历性的必要与充分条件是什么？
• RQ3 为何吉布斯采样器中的朴素自适应可能导致非遍历行为，此类失败如何能被形式化诊断？
• RQ4 在吉布斯内梅特罗波利斯采样器中，自适应选择概率与提议分布如何相互作用，其在何种条件下能保持遍历性？

主要发现

• 构造了一个反例，其中看似合理的自适应规则的吉布斯采样器无法收敛，表明即使对于简单的自适应方案，遍历性也并非必然保证。
• 本文证明，在满足微弱条件（包括递减自适应与充分探索）下，自适应随机扫描吉布斯采样器（AdapRSG）具有遍历性。
• 当自适应满足递减自适应且提议分布适当调优时，自适应随机扫描吉布斯内梅特罗波利斯采样器（AdapRSMwG）被证明具有遍历性。
• 在包含递减自适应与有界提议方差的条件下，自适应随机扫描自适应吉布斯内梅特罗波利斯采样器（AdapRSadapMwG）被证明具有遍历性。
• 通过反例正式确立了[24]先前结果的失效，表明其主要定理不正确。
• 分析确认，即使链是非马氏的，仍可利用耦合的随机优势论证来证明自适应MCMC采样器的遍历性。