[論文レビュー] Approximate Probabilistic Inference via Word-Level Counting

Supratik Chakraborty, Kuldeep S. Meel+2 more|arXiv (Cornell University)|Nov 24, 2015

Bayesian Modeling and Causal Inference参考文献 28被引用数 32

ひとこと要約

この論文は、SMTソルバを直接活用できるようにする、高次元離散確率的推論に特化した、最初の近似的モデルカウンターSMTApproxMCを紹介する。2-ユニバーサルなワードレベルハッシュ関数を用いることで、SMTソルバと互換性を持たせ、ビットブレイキングに基づく命題的カウンターよりも優れた性能を発揮し、均一で幅広いワード制約を有するベンチマークで、幾何平均観測誤差0.04という高い正確性を達成した。これは理論的な許容誤差0.8よりもはるかに低い。

ABSTRACT

Hashing-based model counting has emerged as a promising approach for large-scale probabilistic inference on graphical models. A key component of these techniques is the use of xor-based 2-universal hash functions that operate over Boolean domains. Many counting problems arising in probabilistic inference are, however, naturally encoded over finite discrete domains. Techniques based on bit-level (or Boolean) hash functions require these problems to be propositionalized, making it impossible to leverage the remarkable progress made in SMT (Satisfiability Modulo Theory) solvers that can reason directly over words (or bit-vectors). In this work, we present the first approximate model counter that uses word-level hashing functions, and can directly leverage the power of sophisticated SMT solvers. Empirical evaluation over an extensive suite of benchmarks demonstrates the promise of the approach.

研究の動機と目的

• 有限離散ドメインにおける近似的モデルカウンティングのギャップを埋めるために、ビットブレイキングではなくSMTソルバの直接利用を可能にする。
• 固定幅ワードを扱うSMTソルバと互換性を持つ、新しいクラスの2-ユニバーサルなワードレベルハッシュ関数を開発する。
• 高次元離散変数を有する確率的グラフィカルモデルにおける効率的な近的モデルカウンティングを可能にする。
• SMTソルバにおけるワードレベル推論が、現実の推論ワークロードにおいて、命題化よりも顕著に性能向上をもたらすことを実証する。

提案手法

• 固定幅ワード上で動作する、SMTソルバが効率的に処理できるように設計された2-ユニバーサルなハッシュ関数の新規族を提案する。
• これらのワードレベルハッシュ関数を、ワードレベル制約の命題化（ビットブレイキング）を回避するモデルカウンティングフレームワークに統合する。
• 線形ワードレベル等式および制約を扱えるSMTソルバを用い、ネイティブなワードレベル推論を可能にする。
• ハッシュ関数を用いたモンテカルロ風のサンプリングアプローチにより、ワードレベル制約系の解の数を推定する。
• 理論的近似保証（ε = 0.8の許容誤差内）を維持しつつ、SMTソルバの最適化を活用するようにアルゴリズムを設計する。
• SMTApproxMCのプロトタイプを実装し、CDMなどの最先端の命題的モデルカウンタと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 2-ユニバーサルかつ現代のSMTソルバが効率的に解けるワードレベルハッシュ関数を構築できるか？
• RQ2 ワードレベル制約に対してSMTソルバを直接使用することで、ビットブレイキングや命題的カウンティングを上回る実用的性能が得られるか？
• RQ3 ワードレベルモデルカウンティングによる近似の品質は、正確なカウントや理論的境界と比べてどの程度か？
• RQ4 どのようなベンチマークで、ワードレベル推論が命題化よりも性能優位性を発揮するか？
• RQ5 SMTApproxMCの幾何平均誤差は、理論的許容誤差保証と比べてどのように異なるか？

主な発見

• 長く均一なワード幅で、ビットレベルの複雑さが最小限のベンチマークにおいて、SMTApproxMCはCDMアプローチを著しく上回る。
• すべてのベンチマークにおける観測誤差の幾何平均（ε_obs）は0.04であり、理論的許容誤差0.8よりも顕著に低い。
• 全テストベンチマークにおいて、SMTApproxMCが生成したモデルカウントは、許容係数によって定義された理論的信頼区間内に収束している。
• SMTソルバがビットブレイキングを伴わずにワードレベル制約を処理できる場合、性能向上が最も顕著に現れる。
• 異種のワード幅や複雑な演算子（例：抽出、乗算）を含むベンチマークでは、SMTApproxMCはビットブレイキングのオーバーヘッドにより性能が低下し、ワードレベル推論の限界を確認した。
• 結果から、SMTApproxMCは高度な推論アルゴリズムの効率的構築要素となり得るとともに、将来のSMTソルバ開発を促進する可能性がある。