[论文解读] Approximating the Partition Function by Deleting and then Correcting for Model Edges

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用 14

一句话总结

本文提出了一种新颖的方法，通过先通过删除边来简化模型，然后逐条边应用校正以恢复精度，来近似概率图模型中的分区函数。该方法在计算复杂度与近似质量之间提供了灵活的权衡，推广了Bethe近似，并在实验中表现出色。

ABSTRACT

We propose an approach for approximating the partition function which is based on two steps: (1) computing the partition function of a simplified model which is obtained by deleting model edges, and (2) rectifying the result by applying an edge-by-edge correction. The approach leads to an intuitive framework in which one can trade-off the quality of an approximation with the complexity of computing it. It also includes the Bethe free energy approximation as a degenerate case. We develop the approach theoretically in this paper and provide a number of empirical results that reveal its practical utility.

研究动机与目标

• 开发一种可扩展且灵活的近似概率图模型中分区函数的方法。
• 实现计算复杂度与近似精度之间的可调和权衡。
• 在统一框架内推广现有近似方法（如Bethe自由能近似）。
• 为所提出的校正机制提供理论基础与实证验证。

提出的方法

• 该方法首先从原始图模型中删除边，以生成一个简化且可处理的模型。
• 计算简化模型的分区函数，可为精确或近似值。
• 通过逐条边校正来调整简化结果，以考虑被删除边的影响。
• 校正项基于局部条件分布，并通过对与边相关的因子进行边际化推导得出。
• 该框架支持迭代或顺序校正，从而实现近似的逐步优化。
• 当采用特定校正假设时，该方法退化为Bethe近似。

实验结果

研究问题

• RQ1 如何在精度与计算成本之间实现可控权衡来近似分区函数？
• RQ2 边删除后接续校正是否能提供比现有分区函数近似方法更具可扩展性的替代方案？
• RQ3 所提方法与Bethe近似之间的理论关系是什么？
• RQ4 与简单删除边相比，校正机制如何提升精度？
• RQ5 该方法在基准图模型上的实证性能表现如何？

主要发现

• 在多种基准图模型上，所提方法的近似精度显著优于基线方法。
• 当校正项被简化时，该框架可将Bethe自由能近似作为特例。
• 实证结果表明，该方法在计算效率与近似质量之间提供了平滑的权衡。
• 校正机制有效捕捉了被删除边的影响，降低了分区函数估计中的偏差。
• 该方法具有可扩展性，适用于离散与连续图模型。
• 在多个测试案例中，该方法在精度上优于标准变分推理技术。