[论文解读] Improving Gibbs Sampler Scan Quality with DoGS

Ioannis Mitliagkas, Lester Mackey|arXiv (Cornell University)|Jul 18, 2017

Markov Chains and Monte Carlo Methods参考文献 3被引用 4

一句话总结

本文提出 DoGS（Dobrushin 优化的 Gibbs 采样器），一种利用 Dobrushin 影响矩阵来验证和提升 Gibbs 采样器扫描质量的方法。通过最小化可计算的、非渐近的总变异距离界，DoGS 在实验中实现比标准系统扫描或随机扫描更快的收敛速度和更高的推理精度，采样步数最多减少 5.5 倍。

ABSTRACT

The pairwise influence matrix of Dobrushin has long been used as an analytical tool to bound the rate of convergence of Gibbs sampling. In this work, we use Dobrushin influence as the basis of a practical tool to certify and efficiently improve the quality of a discrete Gibbs sampler. Our Dobrushin-optimized Gibbs samplers (DoGS) offer customized variable selection orders for a given sampling budget and variable subset of interest, explicit bounds on total variation distance to stationarity, and certifiable improvements over the standard systematic and uniform random scan Gibbs samplers. In our experiments with joint image segmentation and object recognition, Markov chain Monte Carlo maximum likelihood estimation, and Ising model inference, DoGS consistently deliver higher-quality inferences with significantly smaller sampling budgets than standard Gibbs samplers.

研究动机与目标

• 解决离散 MCMC 中 Gibbs 采样器扫描缺乏实用的、非渐近的质量度量问题。
• 克服标准系统扫描和均匀随机扫描的局限性，这些方法在目标推理中表现次优。
• 开发一种方法，根据特定感兴趣的变量和采样预算，定制 Gibbs 采样器的扫描方式。
• 提供显式、可验证的总变异距离到平稳分布的界，以提升推理的可靠性。
• 实现在无需昂贵 MCMC 运行的前提下，对扫描质量进行预仿真评估与优化。

提出的方法

• 提出一种新的扫描质量度量方法，称为 Dobrushin 变异（DV），该方法界定了在 T 步后目标分布与 Gibbs 采样器输出之间的加权总变异距离。
• 利用 Dobrushin 理论中的成对影响矩阵 $\bar{C}$ 计算 DV，其中 $\|\bar{C}\| < 1$ 确保几何遍历性。
• 将扫描优化建模为在扫描序列上最小化 DV 的问题，采用倍增法高效搜索可能的扫描方案。
• 以标准扫描（如系统扫描）初始化优化过程，并利用影响界进一步改进收敛速度。
• 集成用户定义的重要性权重，以聚焦扫描质量于特定的边缘分布或感兴趣特征。
• 将该方法应用于离散指数族模型，包括 Ising 模型、PLSA 和 MCMC 最大似然估计，利用可计算的影响界。

实验结果

研究问题

• RQ1 Dobrushin 的影响矩阵能否用于构建 Gibbs 采样器扫描的实用、非渐近质量度量？
• RQ2 基于 Dobrushin 变异的扫描优化能否在收敛速度和推理精度上优于标准扫描？
• RQ3 当使用松散的影响界而非紧致影响界时，DoGS 扫描的质量会如何退化？
• RQ4 DoGS 能否高效应用于图像分割和参数估计等实际推理任务？
• RQ5 DoGS 在保持或提升推理质量的前提下，最多能将所需采样预算减少多少？

主要发现

• 在图像分割任务中，DoGS 相较于系统扫描将采样预算减少了 5.5 倍，仅用 110 步即达到与 620 步系统扫描相同的汉明误差。
• 在 MSRC 图像数据集中，DoGS 将每张图像的分割时间从 1.2 秒减少至 0.37 秒，同时保持或提升了精度。
• DoGS 扫描选择过程仅耗时 11.5 毫秒，且可复用于所有测试图像，表明计算开销极低。
• 即使影响界比真实值松散 50%，DoGS 仍保持优异性能，显示出对松散界的良好鲁棒性。
• 在图像分割、MCMC 估计和 Ising 模型推理三个应用中，DoGS 均持续优于系统扫描和均匀随机扫描。
• 该方法提供了显式、可验证的总变异距离到平稳分布的界，实现了具有保证误差控制的可靠推理。