[論文レビュー] Neural Probabilistic Logic Programming in Discrete-Continuous Domains

Lennert De Smet, Pedro Zuidberg Dos Martires+4 more|arXiv (Cornell University)|Mar 8, 2023

Bayesian Modeling and Causal Inference被引用数 8

ひとこと要約

DeepSeaProbLogを紹介する。離散・連続の乱数変数を論理制約の下で扱えるニューラル-シンボリック確率論的論理プログラミング言語で、漸近的に無偏な学習アルゴリズムと複数タスクでの実験を行う。

ABSTRACT

Neural-symbolic AI (NeSy) allows neural networks to exploit symbolic background knowledge in the form of logic. It has been shown to aid learning in the limited data regime and to facilitate inference on out-of-distribution data. Probabilistic NeSy focuses on integrating neural networks with both logic and probability theory, which additionally allows learning under uncertainty. A major limitation of current probabilistic NeSy systems, such as DeepProbLog, is their restriction to finite probability distributions, i.e., discrete random variables. In contrast, deep probabilistic programming (DPP) excels in modelling and optimising continuous probability distributions. Hence, we introduce DeepSeaProbLog, a neural probabilistic logic programming language that incorporates DPP techniques into NeSy. Doing so results in the support of inference and learning of both discrete and continuous probability distributions under logical constraints. Our main contributions are 1) the semantics of DeepSeaProbLog and its corresponding inference algorithm, 2) a proven asymptotically unbiased learning algorithm, and 3) a series of experiments that illustrate the versatility of our approach.

研究の動機と目的

• ニューラル-シンボリック確率論的論理プログラミングを離散-連続ドメインへ拡張する。
• 重み付きモデル積分（WMI）に基づく正式な意味論と推論アルゴリズムを定義する。
• 連続緩和の微分可能な勾配推定を提供する漸近的に無偏な勾配を伴う学習法を定義する。
• 多様なタスクを通じたニューラル-シンボリック実験で汎用性を示す。
• 未知確実性下での論理的推論と深層確率プログラミングを橋渡しする。

提案手法

• 分布的事実とニューラル分布的事実（NDFs）を定義してニューラルネットで分布をパラメータ化する。
• 確率的比較式（PCFs）を用いてランダム変数を含む論理制約を符号化する。
• クエリ確率を可能世界とWMIベース推論フレームワーク（式4）を用いて定式化する。
• 知識コンパイルとサンボアルゴリズムを適用してスケーラブルな近似推論を実行する。
• 再パラメトリゼーションとPCFの連続緩和を用いた微分可能な学習手法を導入して無偏勾配推定を得る（定理4.1–4.2, 式7–11）。
• ニューラルパラメータに条件付けられた連続変数をサンプルするためにTensorFlow Probabilityを活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル-シンボリック確率論的論理プログラミングを、論理制約の下で離散および連続乱数変数を扱えるように拡張できるか。
• RQ2 このハイブリッド設定でWMIによる推論を効率的に実行できるか。
• RQ3 DeepSeaProbLog内のニューラルパラメータ学習で漸近的に無偏な勾配を得ることが可能か。
• RQ4 未知性と弱教師あり学習を要する多様なタスクで、離散-連続のDeepSeaProbLogモデルは良好な性能を示すか。

主な発見

Method	acc.	IoU
DeepSeaProbLog	93.77 ± 0.57	17.69 ± 0.23
LTN	76.50 ± 12.10	10.73 ± 1.69
Neural Baseline	54.71 ± 14.33	6.26 ± 1.77

• 推論は可能世界上の重み付きモデル積分問題として定式化できる（式4）。
• 知識コンパイルを用いたサンボ推論は、離散PCFと連続変数をスケーラブルに扱える。
• 勾配推定は無限のクールネス極限において漸近的に無偏である（命題4.2）。
• DeepSeaProbLogはOODでの強力な性能と多様なモデリング能力を示す（ニューラル注意、ニューラル-ハイブリッドBN、ニューラル-シンボリックVAE）。
• このフレームワークはニューラル要素と論理制約を統合し、エンドツーエンドの微分可能な学習を実現する。