[論文レビュー] Probabilistic Theorem Proving

Vibhav Gogate, Pedro Domingos|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 38被引用数 135

ひとこと要約

この論文は、確率的推論を lifted 重み付きモデル数え上げに還元することで、一階論理と確率的推論を統合する新しい手法である確率的定理証明（PTP）を紹介する。この手法は論理的構造を活用し、特に豊かな論理的構造を持つドメインでは、従来の手法（例：lifted 変数消去や信念伝播）と比較して顕著な性能向上を達成する。実験結果により、著しく高速化されることが示されている。

ABSTRACT

Many representation schemes combining first-order logic and probability have been proposed in recent years. Progress in unifying logical and probabilistic inference has been slower. Existing methods are mainly variants of lifted variable elimination and belief propagation, neither of which take logical structure into account. We propose the first method that has the full power of both graphical model inference and first-order theorem proving (in finite domains with Herbrand interpretations). We first define probabilistic theorem proving, their generalization, as the problem of computing the probability of a logical formula given the probabilities or weights of a set of formulas. We then show how this can be reduced to the problem of lifted weighted model counting, and develop an efficient algorithm for the latter. We prove the correctness of this algorithm, investigate its properties, and show how it generalizes previous approaches. Experiments show that it greatly outperforms lifted variable elimination when logical structure is present. Finally, we propose an algorithm for approximate probabilistic theorem proving, and show that it can greatly outperform lifted belief propagation.

研究の動機と目的

• 論理的構造を完全に活用できる形で、一階論理と確率的推論を統合すること。
• lifted 変数消去や信念伝播といった既存手法の限界、特に論理的構造を効果的に活用できない点を解決すること。
• 与えられた確率的知識のもとで論理式の確率を計算するための一般化されたフレームワークを構築すること。
• 中心的な計算原 primitive として、lifted 重み付きモデル数え上げの正確で効率的なアルゴリズムを提供すること。
• スケーラビリティと正確性の両方を向上させるために、近似推論への拡張を図ること。

提案手法

• 確率的定理証明を、確率的または重み付き論理式の集合が与えられたもとで論理式の確率を計算するタスクとして定義すること。
• 問題を、論理的対称性と変数の lift を考慮する重み付きモデル数え上げの一般化である lifted 重み付きモデル数え上げ（LWMC）に還元すること。
• 論理式の明示的グランドイングを回避するように、一階構造を活用する効率的な LWMC アルゴリズムを設計すること。
• アルゴリズムの正しさを証明し、完全性や複雑性といった理論的性質を分析すること。
• スケーリングを向上させるために、サンプリングと重要度重み付けを用いた近似版のアルゴリズムを導入すること。
• 論理的推論と確率的推論を統合する包括的な推論フレームワークにこの手法を統合すること。

実験結果

リサーチクエスチョン

• RQ1 一階論理証明とグラフィカルモデル推論の両方の強力な力を活かせる統合的推論フレームワークを構築できるか？
• RQ2 論理的構造を体系的に活用することで、一階ドメインにおける確率的推論の効率をどのように向上させられるか？
• RQ3 提案手法が、変数消去や信念伝播といった既存の lift 推論アルゴリズムをどの程度上回るか？
• RQ4 大規模問題において、近似版アルゴリズムが正確性を維持しながら顕著な高速化を達成できるか？
• RQ5 提案された lifted 重み付きモデル数え上げアルゴリズムの理論的保証と計算複雑性の上限は何か？

主な発見

• 論理的構造が存在する場合、提案手法は lifted 変数消去を著しく上回り、ベンチマークドメインで顕著な高速化を示した。
• アルゴリズムは確率的推論を lifted 重み付きモデル数え上げに還元することで正確な推論を達成し、計算の全過程で論理的構造を保持した。
• 理論的分析により、アルゴリズムの正しさと完全性が確認され、論理的対称性に伴う複雑性のスケーリングが有利であることが示された。
• 近似版アルゴリズムは、大規模問題において、lifted 信念伝播よりも速度と正確性の両方で優れた性能を発揮した。
• 実験的評価により、論理的構造を活用することで、非構造的手法と比較して推論時間に桁違いの改善が得られることを示した。
• このフレームワークは、従来のアプローチを一般化・統合し、論理と確率を統合するための原理的基盤を提供した。