[论文解读] Inductive Logic Programming via Differentiable Deep Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Jun 8, 2019

Bayesian Modeling and Causal Inference参考文献 23被引用 22

一句话总结

该论文提出了一种可微分的深度神经逻辑网络（dNL-ILP），通过可微分前向链式推理实现端到端的符号一阶逻辑规则学习，无需使用限制性规则模板。该方法在关系分类任务上达到最先进性能，在Mutagenesis、Cora、IMDB、Wine和Sonar数据集上均优于先前的ILP系统，其优势源于可学习的布尔函数以及通过可微分边界谓词实现的连续数据处理。

ABSTRACT

We propose a novel paradigm for solving Inductive Logic Programming (ILP) problems via deep recurrent neural networks. This proposed ILP solver is designed based on differentiable implementation of the deduction via forward chaining. In contrast to the majority of past methods, instead of searching through the space of possible first-order logic rules by using some restrictive rule templates, we directly learn the symbolic logical predicate rules by introducing a novel differentiable Neural Logic (dNL) network. The proposed dNL network is able to learn and represent Boolean functions efficiently and in an explicit manner. We show that the proposed dNL-ILP solver supports desirable features such as recursion and predicate invention. Further, we investigate the performance of the proposed ILP solver in classification tasks involving benchmark relational datasets. In particular, we show that our proposed method outperforms the state of the art ILP solvers in classification tasks for Mutagenesis, Cora and IMDB datasets.

研究动机与目标

• 为解决传统ILP系统依赖限制性规则模板所带来的局限性，这些模板限制了解空间，并阻碍了对复杂、递归或新创谓词的学习。
• 实现一阶逻辑中符号布尔函数的端到端可微分学习，从而支持显式、可解释且可泛化的规则学习。
• 支持ILP中的关键能力，如谓词发明和递归，这些能力在神经网络ILP方法中往往缺失。
• 通过引入具有可学习阈值的可微分边界谓词（gt, lt），有效处理连续关系数据。
• 在基准关系分类任务上实现最先进性能，包括包含数千个常量和连续特征的数据集。

提出的方法

• dNL-ILP框架采用可微分的前向链式实现，将真值值通过逻辑规则传播，从而支持基于梯度的优化。
• 引入乘法神经元以显式学习符号布尔函数，实现对逻辑公式的直接优化，无需规则模板。
• 对于连续数据，通过使用具有可学习阈值 u_xi 和 l_xi 的Sigmoid函数，定义可微分谓词 gt_xi(x, u_xi) 和 lt_xi(x, l_xi)。
• 模型使用 dNL-CNF 和 dNL-DNF 网络表示复杂逻辑规则，谓词函数被定义为可训练的布尔函数。
• 通过从背景知识和示例中推理，支持谓词发明，无需预先指定新谓词。
• 框架通过高斯混合模型（GMMs）集成概率建模，用于处理不确定的基因状态，其中辅助谓词 inf_off_i 用于估计基因处于关闭状态的概率。

实验结果

研究问题

• RQ1 一种可微分的神经网络框架是否能够在不依赖限制性规则模板的情况下，实现端到端的符号一阶逻辑规则学习？
• RQ2 所提出的 dNL-ILP 模型是否能够在关系学习任务中有效学习递归和新创谓词？
• RQ3 dNL-ILP 在具有连续特征的关系分类任务上的性能与最先进ILP系统相比如何？
• RQ4 具有可学习阈值的可微分边界谓词（gt, lt）是否能够有效建模ILP中的连续数据而无需离散化？
• RQ5 dNL-ILP 框架在包含数千个常量的大规模关系数据集上具有多大程度的泛化能力？

主要发现

• 在 Wine 数据集上，dNL-ILP 的准确率达到 98%，优于 ALEPH+LIME 的 92%。
• 在 Sonar 数据集上，dNL-ILP 达到 85% 的准确率，超过 FOLD+LIME（78%）和 ALEPH+LIME（74%）。
• 在 DREAM4 10 基因分类挑战中，dNL-ILP 的 Matthews 相关系数（MCC）为 0.35，优于 NARROMI（0.24）和 MICRAT（0.33）。
• 在 DREAM4 数据集上，该方法的 F-score 达到 0.36，超过 NARROMI（0.35）和 MICRAT（0.32）。
• dNL-ILP 有效学习了递归规则并支持谓词发明，如在 lessThan 示例中通过 inc 谓词所展示的。
• 该模型在包含数千个常量的数据集上表现出良好的泛化能力，在 Mutagenesis、Cora 和 IMDB 基准测试中均表现优异。