[論文レビュー] Scaling up Hybrid Probabilistic Inference with Logical and Arithmetic Constraints via Message Passing

Zhe Zeng, Paolo Morettin+3 more|arXiv (Cornell University)|Feb 28, 2020

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、論理的および算術的制約を伴う木構造のWMI問題における正確な推論を可能にする、新しいメッセージパッシングベースのWMIソルバ―MP-WMIを提案する。MP-WMIは、最大100変数まで処理可能な画期的なスケーラビリティを達成し、同時に複数の周辺分布を計算するためのクエリ間アモアタイゼーションをサポートしており、実行時間およびスケーラビリティにおいて、先行する正確なソルバーより顕著に優れている。

ABSTRACT

Weighted model integration (WMI) is a very appealing framework for probabilistic inference: it allows to express the complex dependencies of real-world problems where variables are both continuous and discrete, via the language of Satisfiability Modulo Theories (SMT), as well as to compute probabilistic queries with complex logical and arithmetic constraints. Yet, existing WMI solvers are not ready to scale to these problems. They either ignore the intrinsic dependency structure of the problem at all, or they are limited to too restrictive structures. To narrow this gap, we derive a factorized formalism of WMI enabling us to devise a scalable WMI solver based on message passing, MP-WMI. Namely, MP-WMI is the first WMI solver which allows to: 1) perform exact inference on the full class of tree-structured WMI problems; 2) compute all marginal densities in linear time; 3) amortize inference inter query. Experimental results show that our solver dramatically outperforms the existing WMI solvers on a large set of benchmarks.

研究の動機と目的

• 既存のWMIソルバ―のスケーラビリティの限界を解決すること。これらは問題の構造を無視するか、狭い問題クラスに限定されている。
• 特に複雑な論理的および算術的制約を伴う問題に対して、既存のクラスを超えて扱える、実行可能WMI推論の境界を拡張すること。
• 単一クエリおよび複数クエリのワークロードをサポートする、木構造のWMI問題における正確な推論を可能にするメッセージパッシングフレームワークを設計すること。
• 1回の要因グラフ走査で全変数の周辺分布とモーメントを同時に計算することで、クエリ間アモアタイゼーションを達成し、全体の推論コストを低減すること。
• 実世界の構造を有する大規模ベンチマーク上で、提案されたソルバ―のスケーラビリティおよび効率性を実証的に検証すること。

提案手法

• SMT式のプライマルグラフ構造に基づき、要因グラフ上のメッセージパッシングを可能にする要因分解WMI計算フレームワークを導出する。
• シンボリックな重み関数を伝搬させ、局所的シンボリック統合を用いて統合する、新しいメッセージパッシングアルゴリズムを設計する。これにより、数値的再構築を回避する。
• 単変量および多変量多項式積分を効率的に計算するためのシンボリック統合を採用し、単項式の数に対して平均的線形時間計算量を達成する。
• 要因グラフを1回の走査で全周辺分布とモーメントを同時に計算することで、クエリ間アモアタイゼーションを実現する。
• SMT(ℝ)フレームワークを活用し、複雑な論理的および算術的制約を伴うハイブリッド連続離散問題を表現する。
• WMI推論を、木構造の要因グラフ上の局所的計算の系列に還元し、このクラスにおいて多項式時間で正確な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MP-WMIは、既存の正確なソルバーよりも大きな問題サイズのWMI推論をスケーリングできるか？
• RQ2 複数のクエリにわたる累積的クエリ応答時間の削減において、クエリ間アモアタイゼーションはどの程度効果的か？
• RQ3 MP-WMIにおけるシンボリック統合は、既存のソルバ―で用いられる数値統合よりも優れたパフォーマンスをもたらすか？
• RQ4 MP-WMIは、多項式重みおよび複雑な制約を伴う木構造のWMI問題の全クラスを処理できるか？
• RQ5 さまざまな木構造トポロジーを有するベンチマークにおいて、MP-WMIは最先端のWMIソルバーよりもパフォーマンスに優れているか？

主な発見

• MP-WMIは、スターマップ構造では60変数、パスおよび完全3分木構造では最大90変数までスケーリングでき、WMI-PAおよびF-XSDD(BR)の20変数制限を著しく上回る。
• 単一クエリ推論において、MP-WMIはシンボリック統合のおかげで、数値補間よりも平均的計算量が低いことから、SMIに比べて最大2桁速い。
• MP-WMIは、1回の要因グラフ走査で全周辺分布を同時に計算することでクエリ間アモアタイゼーションを実現し、100クエリにわたる累積実行時間をSMIと比較して最大2桁短縮した。
• MP-WMIは、多項式重みおよび複雑な論理的制約を伴う、既存で知られている最大の実行可能WMI問題クラスにおける正確な推論をサポートしている。
• 実験的結果から、MP-WMIは木構造のベンチマークにおいて、スケーラビリティおよび効率性の両面で、すべての既存の正確なWMIソルバーよりも優れていることが確認された。
• MP-WMIにおけるシンボリック統合の使用は、高次多項式において優れたパフォーマンスを発揮し、SMIにおける数値手法は次数に比例して2乗的にスケーリングするのに対し、MP-WMIはその影響を抑える。