[論文レビュー] Probabilistic Inference Modulo Theories

Rodrigo de Salvo Braz, Ciaran O’Reilly+2 more|arXiv (Cornell University)|May 26, 2016

Bayesian Modeling and Causal Inference被引用数 15

ひとこと要約

この論文は、命題論理、等価性、有界整数上の差分算術をサポートする、確率的推論モジュロ理論を実行する、持ち上げられ、正確な推論アルゴリズムである SGDPLL(T) を導入する。記号的扱いとファウルハーバーの公式を用いることで、ドメインサイズに依存しない定数時間の計算量を達成し、実験では最先端のソルバーよりも優れている。

ABSTRACT

We present SGDPLL(T), an algorithm that solves (among many other problems) probabilistic inference modulo theories, that is, inference problems over probabilistic models defined via a logic theory provided as a parameter (currently, propositional, equalities on discrete sorts, and inequalities, more specifically difference arithmetic, on bounded integers). While many solutions to probabilistic inference over logic representations have been proposed, SGDPLL(T) is simultaneously (1) lifted, (2) exact and (3) modulo theories, that is, parameterized by a background logic theory. This offers a foundation for extending it to rich logic languages such as data structures and relational data. By lifted, we mean algorithms with constant complexity in the domain size (the number of values that variables can take). We also detail a solver for summations with difference arithmetic and show experimental results from a scenario in which SGDPLL(T) is much faster than a state-of-the-art probabilistic solver.

研究の動機と目的

• 算術、関係、量化子を含む洗練された論理的構造をネイティブに扱える、効率的かつ正確な確率的推論手法の不足を解消すること。
• モデルの表形式化や近似推論といった既存の手法の制限を克服すること——これらはいずれもモデルを巨大なテーブルに展開するか、理論的根拠を欠く。
• ドメインサイズに依存しない（定数時間の）正確な推論を可能にする、背景論理理論 T をパrameter化した一般化された推論フレームワークを構築すること。
• 代数的技法（ファウルハーバーの公式を含む）を用いて、複雑な制約を伴う整数インデックス上の和集合をドメインサイズに依存しない時間で計算可能にする。
• データ構造や関係的モデルを含む、より洗練された論理言語への確率的推論の拡張の基盤を提供すること。

提案手法

• 背景論理理論 T をパrameterとして用いることで、DPLLアルゴリズムを記号的式や量化された論理式を扱えるように一般化する。
• SMTスタイルの理論解決を拡張し、充足可能性に加え、モデル数え上げと実数値式上の記号的和集合をサポートする。
• 地面レベルの列挙を避けるために、自由変数と制約を含む和集合を記号的扱いで表現・計算する。
• 有界整数上の差分算術のための特別なソルバーを実装し、ファウルハーバーの公式を用いて多項式の和をドメインサイズに依存しない定数時間で計算する。
• 二項展開と再帰的分解を用いて、ベルヌーイ数を含む既知の閉形式表現に多項式の和集合を還元する。
• 代数的恒等式を活用し、多項式の次数に応じて事前に係数を計算することで、複雑さがドメインサイズに依存しないように保証する。

実験結果

リサーチクエスチョン

• RQ1 複雑な論理的モデルにおける確率的推論を、表形式化を行わず、正確かつ効率的に行うことは可能か？
• RQ2 持ち上げられた推論は、一階論理を越えて、差分算術や等価性といったより洗練された理論へ一般化可能か？
• RQ3 代数的技法（ファウルハーバーの公式を含む）を用いて、整数インデックス上の記号的和集合をドメインサイズに依存しない時間で計算可能か？
• RQ4 複雑な論理的制約を伴う状況において、SGDPLL(T) の性能は最先端の確率的ソルバーと比べてどの程度か？
• RQ5 提案されたソルバーの多項式和集合の計算量はどの程度で、多項式の次数や変数の依存関係に応じてどのようにスケーリングするか？

主な発見

• SGDPLL(T) はファウルハーバーの公式を用いることで、有界整数上の和集合についてドメインサイズに依存しない定数時間の計算量を達成し、真に持ち上げられたものとなる。
• 差分算術および多項式和集合のソルバーは、インデックスドメインサイズに依存しない時間で実行され、最大の初期多項式次数 n に対して O(n⁵) の計算量で抑えられる。
• 複雑な論理的制約と大きなドメインを伴う実世界のシナリオにおいて、SGDPLL(T) は最先端の確率的ソルバーを上回る性能を示した。
• ファウルハーバーの公式により、∑x:l<x≤u t₀ + t₁x + … + tₙxⁿ のような和集合が閉形式で正確に評価可能となり、地面のインスタンス化を回避できる。
• 変数の次数は複数の代数的演算を経ても線形に増加し、複合的な式の下でも複雑さが管理可能であることが保証される。
• 自由変数を用いた記号的出力をサポートすることで、確率的クエリの柔軟かつコンパクトな表現が可能になる。