[論文レビュー] Logical Neural Networks

Ryan Riegel, Alexander Gray+13 more|arXiv (Cornell University)|Jun 23, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用数 81

ひとこと要約

tldr: Logical Neural Networks (LNNs) integrate neural learning with symbolic logic by mapping neurons to elements of weighted real-valued logic, enabling end-to-end differentiable, bidirectional, and interpretable reasoning with open-world bounds.

ABSTRACT

We propose a novel framework seamlessly providing key properties of both neural nets (learning) and symbolic logic (knowledge and reasoning). Every neuron has a meaning as a component of a formula in a weighted real-valued logic, yielding a highly intepretable disentangled representation. Inference is omnidirectional rather than focused on predefined target variables, and corresponds to logical reasoning, including classical first-order logic theorem proving as a special case. The model is end-to-end differentiable, and learning minimizes a novel loss function capturing logical contradiction, yielding resilience to inconsistent knowledge. It also enables the open-world assumption by maintaining bounds on truth values which can have probabilistic semantics, yielding resilience to incomplete knowledge.

研究の動機と目的

• 解釈可能な知識表現のために、ニューラル学習と記号論理を統一するニューローシンボリックなフレームワークを導入する。
• ニューロンと論理式要素との1対1対応を構築し、双方向で証明可能な推論を可能にする。
• 真理値の境界を介してオープンワールドの前提を支持し、論理的矛盾を罰する微分可能な学習目的を開発する。
• 保証された収束性と一階述語論理および定理証明への適用性を示す推論効率を実証する。

提案手法

• 論理式をグラフとして表現し、各ニューロンが論理原子または結合子に対応し、出力を [0,1] の真理値の境界として持つ。
• 活性化関数を、論理結合子 (AND, OR, NOT, IMPLIES) に対応するよう制約し、基底タプル上の min/max アグリゲーションを介して一階述語の量化子をサポートする。
• パラメータ (weights, bias, function f) を持つ重み付き非線形実値論理を導入し、結合、選択、含意を微分可能な演算子として実現する。
• サブ式全体で境界を反復的に絞り込む、上向き–下向き推論アルゴリズムを採用し、有限ステップの収束を達成する。
• 出力の境界が入力を制約する双方向推論を許し、LNN フレームワーク内でモードス・ペネンスなどの規則を可能にする。
• 反向伝播を通じてニューラルパラメータ（ウェイト、境界、場合によっては原子信頼度）を学習し、矛盾を罰し、古典的な入力で古典的な挙動を促す損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを、各ニューロンが論理式の構成要素に対応するよう構造化し、透明な真理値の境界を実現できるか？
• RQ2 双方向推論と境界の絞り込みは、微分可能なモデル内で定理証明に近い信頼できる収束推論を生み出すか？
• RQ3 開かれた世界の前提を、バイナリの真/偽ラベルではなく真理値の境界を通じて LNNs に表現するにはどうすればよいか？
• RQ4 LNN は一般的な一階述語論理をサポートし、記号系と比較して標準的な定理証明ベンチマークで良好な性能を示すか？
• RQ5 LNN は情報を捨てることなく境界を調整することによって、矛盾やノイズの多い知識に対処できるか？

主な発見

• LNNs は、解釈可能な表現を可能にする1対1のニューロン–論理式対応を備えた、微分可能でエンドツーエンドのフレームワークを提供する。
• 推論は双方向で、有限ステップで収束し、ニューラルアーキテクチャ内で定理証明者のような推論を可能にする。
• 真理値は境界として表現され、解釈可能性を維持しつつオープンワールド意味論と確率的解釈をサポートする。
• 実験では、LNNs が LUBM クエリで完全リコールを、いくつかの設定で正確な記号系と並んで達成し、矛盾する公理を特定して重みを下げることができる。
• TPTP および関連ベンチマークでは、LNNs はいくつかの記号的/ノイジー規則ベースラインと同等以上の性能を示し、ATP タスクの一部で問題を数秒以内に証明する。
• LNNs は学習中に矛盾を明示的に罰し、論理構造を尊重する学習を可能にし、説明可能性を向上させる。