[論文レビュー] Logical Rule Induction and Theory Learning Using Neural Theorem Proving

Andres Campero, Aldo Pareja+3 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 24被引用数 17

ひとこと要約

この論文は、ソフトユニフィケーションを用いた微分可能前向き結合推論により、論理的ルール誘導および理論学習のための神経記号フレームワークを提案する。勾配降下法による述語の密ベクトル埋め込みの最適化を通じて、観察から解釈可能な論理的ルールとコア事実を学習し、ILPおよび理論学習ベンチマークで高い精度と強力な圧縮性能を達成した。特に、動物の分類体系の最適理論学習において99%の精度と70%の成功率を達成した。

ABSTRACT

A hallmark of human cognition is the ability to continually acquire and distill observations of the world into meaningful, predictive theories. In this paper we present a new mechanism for logical theory acquisition which takes a set of observed facts and learns to extract from them a set of logical rules and a small set of core facts which together entail the observations. Our approach is neuro-symbolic in the sense that the rule pred- icates and core facts are given dense vector representations. The rules are applied to the core facts using a soft unification procedure to infer additional facts. After k steps of forward inference, the consequences are compared to the initial observations and the rules and core facts are then encouraged towards representations that more faithfully generate the observations through inference. Our approach is based on a novel neural forward-chaining differentiable rule induction network. The rules are interpretable and learned compositionally from their predicates, which may be invented. We demonstrate the efficacy of our approach on a variety of ILP rule induction and domain theory learning datasets.

研究の動機と目的

• ルール構造に関する明示的教師なし条件下で、生の観察から解釈可能な論理的ルールとコア事実を学習できる神経記号手法の開発。
• 観察データを含む最小限のコア事実とルールの集合を学習することで理論圧縮を可能にし、人間のような知識一般化を模倣する。
• 勾配降下法によるルールと事実表現の共同最適化を通じて、帰納的論理プログラミング（ILP）およびドメイン理論学習の両方をサポートする。
• 学習中に新しい述語を発明できることを可能にし、データから抽象的概念の発見を可能にする。

提案手法

• モデルは、述語類似度をベクトル埋め込みによって測定するソフトユニフィケーションを用いる微分可能前向き結合ニューラルネットワークを採用し、正確な一致ではなく類似度に基づいてルールを適用する。
• ルールは述語の密ベクトル埋め込みによってパラメータ化され、Kステップの推論を通じて観察された事実を生成するために勾配降下法で最適化される。
• コア事実は原子的事実の埋め込みとして学習され、スパarsity正則化を用いて学習されたコア事実の数を最小化し、理論圧縮を促進する。
• 訓練目的は、Kステップの推論後に得られた事実と観察されたターゲット事実との差を最小化することであり、真の事実の忠実な生成と偽物の回避を促進する。
• ルール誘導（プロトルールが与えられる場合）と理論取得（ルールとコア事実を完全に新規に学習する場合）の両方をサポートし、ルール構造に関する明示的教師は不要である。
• ソフトユニフィケーションは正確なユニフィケーションに代わり、述語埋め込み間の類似度を測定することで、微分可能推論とエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能で神経記号的なモデルは、ルール構造に関する教師なし条件下で、生の観察から解釈可能な論理的ルールとコア事実を学習できるか？
• RQ2 モデルは、人間のような理論圧縮を達成するために、観察された事実を最小限のコア事実とルールの集合に圧縮できるか、その程度はいかほどか？
• RQ3 標準的なILPおよびドメイン理論学習ベンチマークにおいて、特に発明された述語の学習において、モデルの性能はどの程度か？
• RQ4 モデルは、最小限の教師付き情報で、親族関係や分類階層といった複雑な関係的構造に一般化できるか？

主な発見

• 動物分類体系データセットにおいて、最適な40コア事実理論の学習で99%の精度と70%の成功率を達成し、強力な圧縮と一般化を示した。
• 親族関係データセットでは、観察された事実の96%を正しく回復し、4つの新しい補助的述語と6つの論理的ルール（母親、父親、娘などの関係を定義）を学習した。
• モデルは、既知の述語および発明された述語の両方について、解釈可能で構成的表現を効果的に学習した。抽象的概念としての「子供」や「配偶者」なども含まれる。
• 本手法は、多様なILPおよび理論学習タスクにおいて堅牢な性能を示し、精度と圧縮効率の両面でベースライン手法を上回った。
• ソフトユニフィケーションの使用により、ルールが初期化時にランダムであった場合でも、微分可能推論と効果的なエンドツーエンド学習が可能になった。