[论文解读] Markov Chain Truncation for Doubly-Intractable Inference

Colin Wei, Iain Murray|arXiv (Cornell University)|Oct 15, 2016

Bayesian Methods and Mixture Models被引用 7

一句话总结

该论文提出了一种基于马尔可夫链的新型去偏算法——FCE 和 RBBCE，用于在双重不可行推断问题中构建 $1/Z$（归一化常数的倒数）的无偏、有限期望估计。通过利用马尔可夫链耦合与俄罗斯轮盘截断，这些方法在正估计比例和方差方面优于基于重要性采样的方法，从而提升了 Ising 模型和指数随机图等模型中伪边缘 MCMC 采样的效率。

ABSTRACT

Computing partition functions, the normalizing constants of probability distributions, is often hard. Variants of importance sampling give unbiased estimates of a normalizer Z, however, unbiased estimates of the reciprocal 1/Z are harder to obtain. Unbiased estimates of 1/Z allow Markov chain Monte Carlo sampling of "doubly-intractable" distributions, such as the parameter posterior for Markov Random Fields or Exponential Random Graphs. We demonstrate how to construct unbiased estimates for 1/Z given access to black-box importance sampling estimators for Z. We adapt recent work on random series truncation and Markov chain coupling, producing estimators with lower variance and a higher percentage of positive estimates than before. Our debiasing algorithms are simple to implement, and have some theoretical and empirical advantages over existing methods.

研究动机与目标

• 解决当仅能获得 $Z$ 的无偏估计时，对不可行归一化常数 $1/Z$ 的估计挑战。
• 克服现有去偏方法的局限性，如高方差和非正估计，这些局限性会阻碍在双重不可行模型中实现高效的 MCMC 采样。
• 开发一种通用且可实现的无偏 $1/Z$ 估计框架，确保有限期望，并在伪边缘 MCMC 中提升实际性能。
• 证明基于马尔可夫链的估计器在后验采样中的正性与自相关性方面优于基于重要性采样的对应方法。

提出的方法

• 将俄罗斯轮盘截断方法从重要性采样估计器推广至马尔可夫链过程，以构建无偏 $1/Z$ 估计。
• 使用一系列收敛于 $1/Z$ 期望的估计量 $Y^{(i)}$，其截断由随机停止时间 $N$ 决定。
• 将最终估计量构造为 $S = Y^{(0)} + \sum_{i=1}^{N} \frac{Y^{(i)} - Y^{(i-1)}}{\Pr(N \geq i)}$，在满足可积性条件 (2) 的前提下确保无偏性。
• 提出 FCE（前向耦合估计器）和 RBBCE（随机分批耦合估计器），利用耦合马尔可夫链提升估计器的稳定性和正性。
• 通过设计保证级数差项可积性的耦合方案，确保估计器的有限期望。
• 使用带线性递增每阶段样本数的退火重要性采样（AIS）构造 $Y^{(i)}$，避免样本数指数增长，实现可扩展的实现。

实验结果

研究问题

• RQ1 基于马尔可夫链的去偏方法能否在理论上有保证的前提下，产生无偏且期望有限的 $1/Z$ 估计？
• RQ2 与基于重要性采样的方法相比，基于马尔可夫链的估计器是否能产生更高比例的正估计？
• RQ3 与非耦合估计器相比，马尔可夫链耦合能否降低伪边缘 MCMC 中后验样本的自相关性？
• RQ4 所提出的框架在 Ising 模型和指数随机图等多样化模型中是否能保持低方差和高正性？
• RQ5 该方法是否能以极低的计算开销实现，且无需调优自由参数（如样本增长速率）？

主要发现

• 在 Ising 模型中，RBBCE 在 100,000 次迭代中实现了 99,924 个正估计，显著优于 FCE（97,597）和 IAE（96,538）。
• 在指数随机图模型中，RBBCE 产生了 99,890 个正估计，再次超过 FCE（98,680）和 IAE（98,442），表明正性性能得到提升。
• 基于马尔可夫链的估计器表现出比 IAE 更低的经验自相关性，表明混合速度更快，后验探索更高效。
• 理论分析证实，RBBCE 对所有状态空间均能保证估计器的有限期望，而先前方法则需调优样本增长速率。
• 所提方法具有通用性，可与现有伪边缘 MCMC 技术（如分层抽样或自适应调优）无缝结合，且不增加额外复杂度。
• 实验表明，更高的正性与更低的自相关性可直接转化为后验估计更低的方差，验证了正性在实践中带来的启发式优势。