[論文レビュー] Inductive Logic Programming via Differentiable Deep Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Jun 8, 2019

Bayesian Modeling and Causal Inference参考文献 23被引用数 22

ひとこと要約

この論文は、制限的なルールテンプレートを必要とせず、微分可能前向き結合を介してエンドツーエンドでシンボリックな一階論理規則を学習する微分可能ディープニューラル論理ネットワーク（dNL-ILP）を提案する。微分可能境界述語を用いた学習可能なブール関数と連続的データ処理により、Mutagenesis、Cora、IMDB、Wine、Sonarデータセットにおいて、従来のILPシステムを上回る最先端の性能を達成している。

ABSTRACT

We propose a novel paradigm for solving Inductive Logic Programming (ILP) problems via deep recurrent neural networks. This proposed ILP solver is designed based on differentiable implementation of the deduction via forward chaining. In contrast to the majority of past methods, instead of searching through the space of possible first-order logic rules by using some restrictive rule templates, we directly learn the symbolic logical predicate rules by introducing a novel differentiable Neural Logic (dNL) network. The proposed dNL network is able to learn and represent Boolean functions efficiently and in an explicit manner. We show that the proposed dNL-ILP solver supports desirable features such as recursion and predicate invention. Further, we investigate the performance of the proposed ILP solver in classification tasks involving benchmark relational datasets. In particular, we show that our proposed method outperforms the state of the art ILP solvers in classification tasks for Mutagenesis, Cora and IMDB datasets.

研究の動機と目的

• 従来のILPシステムが制限的なルールテンプレートに依存するため、解空間が制限され、複雑な再帰的または発明された述語の学習が困難であるという限界を解消すること。
• 一階論理におけるシンボリックブール関数をエンドツーエンドで微分可能に学習可能とし、明示的で解釈可能かつ一般化可能な規則学習を可能にすること。
• 通常のニューラルILPアプローチに欠如しているが、予測的述語発明や再帰性といった主要なILP機能をサポートすること。
• 学習可能な閾値を有する微分可能境界述語（gt、lt）を導入することで、連続的関係データを効果的に処理すること。
• 数千の定数と連続的特徴を有するベンチマーク関係分類タスクで最先端の性能を達成すること。

提案手法

• dNL-ILPフレームワークは、真理値を論理規則を介して伝搬させる微分可能な前向き結合の実装を用い、勾配ベース最適化を可能にしている。
• ルールテンプレートなしで論理式を直接最適化できるように、明示的なシンボリックブール関数を学習するための乗法的ニューロンを導入している。
• 連続的データ処理のため、学習可能な閾値 u_xi および l_xi を有するシグモイド関数を用いて、gt_xi(x, u_xi) および lt_xi(x, l_xi) の微分可能述語を定義している。
• 複雑な論理規則を表現するために、dNL-CNF および dNL-DNF ネットワークを用い、述語関数をトレーニング可能なブール関数として定義している。
• 事前定義なしに、背景知識と例からの推論によって新しい述語を学習する能力により、予測的述語発明をサポートしている。
• 不確実な遺伝子状態を扱うために、ガウス・ミクスチャ・モデル（GMM）を用いた確率的モデリングを統合し、補助的述語 inf_off_i を用いて遺伝子がオフである確率を推定している。

実験結果

リサーチクエスチョン

• RQ1 制限的なルールテンプレートに依存せず、エンドツーエンドで微分可能なニューラルネットワークフレームワークが、シンボリックな一階論理規則を学習可能か？
• RQ2 提案されたdNL-ILPモデルが、関係学習タスクにおいて再帰的および発明された述語を効果的に学習可能か？
• RQ3 連続的特徴を有する関係分類タスクにおいて、dNL-ILPの性能は最先端のILPシステムと比較してどうか？
• RQ4 学習可能な閾値を有する微分可能境界述語（gt、lt）が、離散化を伴わずにILPにおける連続的データを効果的にモデル化可能か？
• RQ5 dNL-ILPフレームワークは、数千の定数を有する大規模関係データセットにどの程度一般化可能か？

主な発見

• Wineデータセットにおいて、dNL-ILPはALEPH+LIMEの92％に比べ98％の精度を達成し、最先端のILPソルバを上回った。
• Sonarデータセットでは、dNL-ILPが85％の精度を達成し、FOLD+LIME（78％）および ALEPH+LIME（74％）を上回った。
• DREAM4 10遺伝子分類チャレンジでは、dNL-ILPがMCC 0.35を達成し、NARROMI（0.24）および MICRAT（0.33）を上回った。
• DREAM4データセットでは、dNL-ILPがFスコア0.36を達成し、NARROMI（0.35）および MICRAT（0.32）を上回った。
• dNL-ILPは再帰的規則を効果的に学習可能であり、inc述語を用いたlessThanの例で予測的述語発明が実証された。
• dNL-ILPは数千の定数を有するデータセットに対しても良好に一般化し、Mutagenesis、Cora、IMDBベンチマークで強力な性能を示した。