[論文レビュー] Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming

Pedro Zuidberg Dos Martires, Anton Dries+1 more|arXiv (Cornell University)|Jul 2, 2018

Bayesian Modeling and Causal Inference参考文献 16被引用数 7

ひとこと要約

本論文は、重み付きモデル統合（WMI）と代数的モデルカウンティング（AMC）を用いたハイブリッド確率論理プログラミングのための新しい知識コンパイル手法を提案する。これにより、連続的および離散的確率変数の上での正確な推論が可能になる。本研究では、WMIのための知識コンパイルを活用するソルバ―「Symbo」を提案するとともに、KC（知識コンパイル）を介した記号的かつ正確な推論を可能にするハイブリッド論理プログラミング言語「HAL-ProbLog」を設計し、SMTベースの手法に比べて大幅に効率が向上している。

ABSTRACT

In probabilistic reasoning, the traditionally discrete domain has been elevated to the hybrid domain encompassing additionally continuous random variables. Inference in the hybrid domain, however, usually necessitates to condone trade-offs on either the inference on discrete or continuous random variables. We introduce a novel approach based on weighted model integration and algebraic model counting that circumvents these trade-offs. We then show how it supports knowledge compilation and exact probabilistic inference. Moreover, we introduce the hybrid probabilistic logic programming language HAL-ProbLog, an extension of ProbLog, to which we apply our inference approach.

研究の動機と目的

• 離散的および連続的確率変数を併せ持つハイブリッドドメインにおける正確な確率的推論の課題に対処すること。
• SMTソルバ―に依存する既存のWMIアプローチが示すスケーラビリティおよび表現力の限界を克服すること。
• 知識コンパイル技術をWMIに統合し、ハイブリッド確率論理プログラミングにおける記号的かつ正確な推論を可能にすること。
• SMT反復解法を回避するための知識コンパイルを活用する新しいソルバ―「Symbo」を開発すること。
• HAL-ProbLogを用いてProbLogにハイブリッド機能を拡張し、連続的および離散的変数の上での完全な記号的推論を可能にすること。

提案手法

• 確率密度半環を用いて、代数的モデルカウンティング（AMC）の枠組み内で重み付きモデル統合（WMI）を定式化する。
• 確率密度半環を定義し、AMCを用いて連続分布に一般化することで、WMCを拡張する。
• 知識コンパイル技術（例：SDD）を用いて論理的理論を効率的な算術回路にコンパイルし、WMIの評価を高速化する。
• SMT(𝒩RA)式を算術回路にコンパイルし、記号的積分を実行するWMIソルバ―としてSymboを実装する。
• aProbLogに確率密度半環を統合し、ハイブリッド推論を可能にする。その結果、HAL-ProbLogが得られる。
• 先行研究における記号的簡略化の結果を活用し、得られる代数的表現の複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 知識コンパイルは、ハイブリッド確率的モデルの重み付きモデル統合（WMI）に効果的に適用可能か？
• RQ2 確率密度半環を用いることで、代数的モデルカウンティング（AMC）は連続的確率変数をどのように拡張できるか？
• RQ3 知識コンパイルは、ハイブリッドドメインにおけるWMIベースの推論の効率およびスケーラビリティを向上させることができるか？
• RQ4 HAL-ProbLogのようなハイブリッド確率論理プログラミング言語は、記号的かつコンパイル済み推論からどの程度恩恵を受けるか？
• RQ5 KCベースのWMIは、SMTベースのアプローチと比較して、ハイブリッド推論タスクにおいてどの程度の性能を示すか？

主な発見

• Symboは、SMT(𝒩RA)式を算術回路にコンパイルすることで、繰り返しSMT解法を回避し、WMI推論において顕著な高速化を達成している。
• Symboにおける知識コンパイルアプローチにより、繰り返しSMT解法の必要性が低減され、特に同じ理論に対して複数のクエリを処理する場合に顕著な利点を示す。
• HAL-ProbLogは、KCを用いた推論によりProbLogをハイブリッド推論に対応させる成功事例であり、連続的および離散的変数の上での記号的かつ正確な推論を可能にしている。
• ベンチマーク結果から、SymboはSMTベースのソルバ―であるPSIを上回る性能を示しており、ClinicalTrialでは54.6ms、ClickGraphでは4300msの評価時間でスケーラビリティが確認された。
• 従来のWMI手法が区分的多項式やガウス分布に制限されていたのに対し、本手法はより広範な確率密度関数と制約を扱える。
• AMCとWMIの統合により、近似を必要とせず正確な推論が可能となり、密度分解やサンプリングの必要がなくなる。