[论文解读] Formula-Based Probabilistic Inference

Vibhav Gogate, Pedro Domingos|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 33被引用 28

一句话总结

本文提出基于公式的概率推理，引入两种算法——公式分解与条件化（精确）和公式重要性采样（近似），直接在逻辑公式上操作而非变量。该方法利用公式结构显著提升推理效率，在理论与实证评估中均展现出相对于最先进方法的显著性能提升。

ABSTRACT

Computing the probability of a formula given the probabilities or weights associated with other formulas is a natural extension of logical inference to the probabilistic setting. Surprisingly, this problem has received little attention in the literature to date, particularly considering that it includes many standard inference problems as special cases. In this paper, we propose two algorithms for this problem: formula decomposition and conditioning, which is an exact method, and formula importance sampling, which is an approximate method. The latter is, to our knowledge, the first application of model counting to approximate probabilistic inference. Unlike conventional variable-based algorithms, our algorithms work in the dual realm of logical formulas. Theoretically, we show that our algorithms can greatly improve efficiency by exploiting the structural information in the formulas. Empirically, we show that they are indeed quite powerful, often achieving substantial performance gains over state-of-the-art schemes.

研究动机与目标

• 为解决在加权或概率公式给定条件下计算逻辑公式概率这一尚未充分探索的问题。
• 开发直接在公式上操作而非变量上的高效推理算法，利用结构信息。
• 通过将推理表述为公式层面的问题，弥合逻辑推理与概率推理之间的鸿沟。
• 证明在精确与近似推理中，基于公式的推理可优于基于变量的方法。

提出的方法

• 将概率推理表述为逻辑公式层面的问题，将公式视为推理中的第一类实体。
• 开发公式分解与条件化作为精确推理算法，通过利用逻辑结构递归分解复杂公式。
• 提出公式重要性采样，首次将模型计数技术应用于近似概率推理。
• 使用公式层面的操作避免显式枚举变量，降低计算复杂度。
• 利用公式的语法与语义结构引导推理，提升效率。
• 将模型计数原理整合到基于采样的推理中，以估计公式概率。

实验结果

研究问题

• RQ1 能否将概率推理有效重构为公式层面的问题而非变量层面？
• RQ2 如何利用公式中的结构信息提升推理效率？
• RQ3 是否可行且有效将模型计数技术应用于公式域中的近似概率推理？
• RQ4 基于公式的推理算法相比基于变量的推理算法能实现多大性能提升？
• RQ5 基于公式的推理能否扩展到复杂的真实世界概率推理任务？

主要发现

• 所提出的公式分解与条件化算法通过利用公式结构实现显著的效率提升，减少对穷举变量枚举的需求。
• 公式重要性采样提供了一种新颖且有效的近似概率推理方法，基于模型计数原理。
• 实证结果表明，在各种基准场景中，该方法相比最先进基于变量的推理方法展现出显著的性能优势。
• 算法在具有高度结构规律性的公式表示问题上表现出强大的可扩展性与效率。
• 该方法通过直接在公式上操作，避免了基于变量方法相关的组合爆炸问题，从而在概率逻辑推理中实现更高效的推理。