[論文レビュー] DeepProbLog: Neural Probabilistic Logic Programming
DeepProbLogは ProbLog を拡張し、ニューラル述語を追加して確率論的論理とニューラルネットワークをエンドツーエンドで共同訓練し、プログラム誘導を伴う象徴的およびサブシンボリック推論を可能にします。
We introduce DeepProbLog, a probabilistic logic programming language that incorporates deep learning by means of neural predicates. We show how existing inference and learning techniques can be adapted for the new language. Our experiments demonstrate that DeepProbLog supports both symbolic and subsymbolic representations and inference, 1) program induction, 2) probabilistic (logic) programming, and 3) (deep) learning from examples. To the best of our knowledge, this work is the first to propose a framework where general-purpose neural networks and expressive probabilistic-logical modeling and reasoning are integrated in a way that exploits the full expressiveness and strengths of both worlds and can be trained end-to-end based on examples.
研究の動機と目的
- ニューラル述語を用いてサブシンボリックな出力を確率的事実として処理するために、確率論的論理プログラミングを拡張する
- ニューラルネットワークの要素を統合しつつ、ProbLog の意味論と推論を保持する
- 確率論的論理とニューラルモジュールの双方にまたがるエンドツーエンドの勾配ベース訓練を可能にする
- 象徴的/サブシンボリック推論、プログラム誘導、および例からの学習における能力を示す
提案手法
- ニューラル出力を基底確率事実として包絡する neural adic disjunctions (nADs) を定義する
- グラウンディング、命題化、および Sentential Decision Diagrams (SDDs) を用いてクエリ確率を計算する
- 確率的事実を通じて勾配を伝播させるために勾配半環とともに代数的 ProbLog (aProbLog) を用いる
- 論理出力から神経述語を通じて損失を逆伝播し、ニューラルネットワークを更新する
- 標準的な勾配ベースのオプティマイザ（例：Adam）と確率的パラメータ更新を並行して用いて訓練する
- アノテーション付き選択（ADs）を正規化して有効な確率分布を維持する
実験結果
リサーチクエスチョン
- RQ1意味論や推論効率を損なうことなく、ニューラルネットワークを確率的論理プログラミングフレームワークに統合できるか？
- RQ2エンドツーエンドの勾配ベース学習で、確率的事実とニューラルネットワークの要素の両方を統一モデルで最適化できるか？
- RQ3象徴推論、プログラム誘導、例からの学習といったタスクを、組み合わせはどれだけうまくサポートするか？
主な発見
- エンドツーエンド訓練を伴う、象徴的およびサブシンボリック推論の結合を実証する
- ProbLogベースのフレームワーク内でのプログラム誘導の能力を示す
- 数字と四則演算の背景知識を用いたMNISTベースの加算タスクで競争力のある性能を達成する
- 認識と確率的推論の双方を要するタスクに対してスケーラブルな学習を示す
- ニューラル要素を備えた確率論的論理プログラムを学習するための多用途なプラットフォームを提供する
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。