[论文解读] Dynamic Blocking and Collapsing for Gibbs Sampling

Deepak Venugopal, Vibhav Gogate|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用 7

一句话总结

该论文提出了一种动态、贪心的算法，通过基于样本导出的相关性统计量，自适应地将变量划分为阻塞集和折叠集，联合优化吉布斯采样中阻塞与折叠操作。通过同时最大化阻塞和折叠评分函数，该方法在采样过程中显著提升了混合速度，并将准确率提高了整整一个数量级，优于静态方法。

ABSTRACT

In this paper, we investigate combining blocking and collapsing -- two widely used strategies for improving the accuracy of Gibbs sampling -- in the context of probabilistic graphical models (PGMs). We show that combining them is not straight-forward because collapsing (or eliminating variables) introduces new dependencies in the PGM and in computation-limited settings, this may adversely affect blocking. We therefore propose a principled approach for tackling this problem. Specifically, we develop two scoring functions, one each for blocking and collapsing, and formulate the problem of partitioning the variables in the PGM into blocked and collapsed subsets as simultaneously maximizing both scoring functions (i.e., a multi-objective optimization problem). We propose a dynamic, greedy algorithm for approximately solving this intractable optimization problem. Our dynamic algorithm periodically updates the partitioning into blocked and collapsed variables by leveraging correlation statistics gathered from the generated samples and enables rapid mixing by blocking together and collapsing highly correlated variables. We demonstrate experimentally the clear benefit of our dynamic approach: as more samples are drawn, our dynamic approach significantly outperforms static graph-based approaches by an order of magnitude in terms of accuracy.

研究动机与目标

• 为解决在吉布斯采样中联合阻塞与折叠所面临的挑战，避免因折叠变量而引入有害依赖性。
• 为概率图模型中阻塞与折叠策略的联合优化，提出一种系统性方法。
• 利用采样过程中收集的相关性统计量，实现在采样过程中动态调整变量划分。
• 在计算资源受限的场景下，提升混合速度与采样准确率。
• 通过运行时自适应，超越静态、基于图的阻塞与折叠方法。

提出的方法

• 作者定义了两个独立的评分函数：一个用于阻塞（偏好能减少随机游走行为的变量分组），另一个用于折叠（偏好高度依赖变量的边际化）。
• 该方法将问题建模为多目标优化问题，同时最大化两个评分函数，以确定变量最优划分为阻塞集与折叠集。
• 提出一种动态、贪心的算法，通过周期性地基于采样生成的相关性统计量重新划分变量，以近似求解难以处理的优化问题。
• 该算法利用基于样本的相关性估计，识别出高度相关的变量用于阻塞与折叠，从而提升混合效率。
• 该方法在采样过程中动态调整划分策略，使其能够适应后验分布结构的演化。
• 该方法设计为计算高效，可扩展至大规模图模型。

实验结果

研究问题

• RQ1 如何在吉布斯采样中有效结合阻塞与折叠，而不会引入有害依赖性？
• RQ2 哪些评分函数能够以系统性方式联合引导阻塞与折叠变量集的选择？
• RQ3 基于样本的动态自适应变量划分是否能带来比静态、基于图的方法更快的混合速度与更高的准确率？
• RQ4 在收敛速度与准确率方面，该动态方法相较于静态方法表现如何？
• RQ5 采样过程中收集的相关性统计量对阻塞与折叠决策质量有何影响？

主要发现

• 随着采样数量的增加，该动态方法在采样准确率方面比静态图基阻塞与折叠方法高出一个数量级。
• 通过将高度相关的变量分组为块并适时折叠，该方法显著加快了混合速度。
• 利用样本导出的相关性统计量，使算法能够在推理过程中自适应地优化变量划分。
• 联合优化阻塞与折叠评分函数，相比单独优化每种策略，能获得更优的后验估计。
• 该动态算法在保持计算效率的同时，显著提升了准确率与收敛速度。
• 在基准模型上的实证结果表明，该动态方法在多个数据集上均持续优于静态替代方案。