[论文解读] Inference for Belief Networks Using Coupling From the Past

Mike Harvey, Radford M. Neal|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用 3

一句话总结

本文提出了一种新颖的精确推理方法，用于信念网络，结合了耦合自过去（CFTP）与分层噪声或网络的紧凑状态摘要。通过从所有可能的过去状态模拟吉布斯采样器，并利用状态集合的摘要表示，该方法实现了从真实后验分布的精确采样——尽管其模拟步骤数可能多于标准吉布斯采样——但每一步的计算时间仅约为标准吉布斯采样的两倍。

ABSTRACT

Inference for belief networks using Gibbs sampling produces a distribution for unobserved variables that differs from the correct distribution by a (usually) unknown error, since convergence to the right distribution occurs only asymptotically. The method of "coupling from the past" samples from exactly the correct distribution by (conceptually) running dependent Gibbs sampling simulations from every possible starting state from a time far enough in the past that all runs reach the same state at time t=0. Explicitly considering every possible state is intractable for large networks, however. We propose a method for layered noisy-or networks that uses a compact, but often imprecise, summary of a set of states. This method samples from exactly the correct distribution, and requires only about twice the time per step as ordinary Gibbs sampling, but it may require more simulation steps than would be needed if chains were tracked exactly.

研究动机与目标

• 解决由于吉布斯采样中渐近收敛导致的信念网络近似推理问题。
• 开发一种确保从信念网络的真实后验分布中实现精确采样的方法。
• 通过用紧凑的摘要表示替代所有状态的显式枚举，使CFTP在大规模信念网络中可行。
• 通过将每一步的计算成本限制在标准吉布斯采样约两倍以内，保持计算效率。

提出的方法

• 该方法将耦合自过去（CFTP）应用于信念网络，其概念是：从遥远过去的全部可能初始状态出发，运行吉布斯采样器，直到所有链在时间 t=0 时耦合。
• 对于状态数量庞大、无法显式追踪所有状态的网络，该方法使用状态集合的紧凑摘要代替显式追踪单个状态。
• 该摘要专为分层噪声或网络设计，利用其结构特性，通过最少数量的参数高效表示多个状态。
• 该算法确保所有链在时间 t=0 前完成耦合，从而保证从目标分布中获得精确样本。
• 通过在CFTP框架内使用标准吉布斯转移核，保持细致平衡与可逆性。
• 该方法依赖噪声或结构的单调性，以确保在整个状态空间中链的耦合。

实验结果

研究问题

• RQ1 能否将耦合自过去（CFTP）方法适配于大规模信念网络，实现在不显式追踪所有可能状态的前提下进行精确推理？
• RQ2 在保持采样精确性的前提下，如何降低信念网络中CFTP的计算成本？
• RQ3 何种形式的状态摘要足以在分层噪声或网络的CFTP中维持正确性？
• RQ4 使用紧凑状态摘要是否会导致模拟步骤数显著多于精确链追踪？
• RQ5 该方法能否在确保精确推理的同时，实现与标准吉布斯采样相近的每步常数时间复杂度？

主要发现

• 所提出的方法通过确保所有耦合链在时间 t=0 时完成耦合，实现精确推理，从而保证从真实后验分布中采样。
• 使用紧凑状态摘要使该方法能够扩展至全状态枚举不可行的更大规模网络。
• 每步计算成本约为标准吉布斯采样的两倍，因此在实践中具有较高的效率。
• 尽管每步成本较低，但由于状态摘要的不精确性，该方法可能需要比精确链追踪更多的模拟步骤。
• 该方法适用于分层噪声或网络，利用其结构特性在摘要表示下保持正确性。