[论文解读] Learn to Explain Efficiently via Neural Logic Inductive Learning

Yuan Yang, Le Song|arXiv (Cornell University)|Oct 6, 2019

Topic Modeling参考文献 34被引用 10

一句话总结

本文提出神经逻辑归纳学习（NLIL），一种可微分的归纳逻辑编程框架，能够高效学习长且可解释的一阶逻辑规则，用于模型解释。通过分层分解规则搜索空间并使用注意力机制，NLIL 实现了比最先进方法长10倍的规则搜索和3倍快的训练速度，同时可扩展至包含100万实体的大规模数据集（如 Visual Genome），并在数据量极少时仍保持强大的预测性能。

ABSTRACT

The capability of making interpretable and self-explanatory decisions is essential for developing responsible machine learning systems. In this work, we study the learning to explain problem in the scope of inductive logic programming (ILP). We propose Neural Logic Inductive Learning (NLIL), an efficient differentiable ILP framework that learns first-order logic rules that can explain the patterns in the data. In experiments, compared with the state-of-the-art methods, we find NLIL can search for rules that are x10 times longer while remaining x3 times faster. We also show that NLIL can scale to large image datasets, i.e. Visual Genome, with 1M entities.

研究动机与目标

• 解决传统归纳逻辑编程（ILP）方法在可解释性和可扩展性方面的不足。
• 开发一种可微分、可扩展的 ILP 框架，从关系数据中学习全局一致、人类可解释的一阶逻辑规则。
• 实现在监督机器学习中高效规则学习，以支持模型解释，特别是在视觉和知识库任务中。
• 在包含数百万实体的大规模数据集上扩展 ILP，同时保持规则的表达能力和预测性能。

提出的方法

• NLIL 引入一种分层的、分而治之的策略，将规则搜索空间分解为三个子空间：规则结构、变量绑定和规则实例化。
• 采用注意力机制高效搜索分层搜索空间，实现对长规则的可扩展探索。
• 将规则生成与规则评估分离，仅根据谓词类型来条件化规则生成，以确保知识库中全局一致性。
• 采用基于 Transformer 的架构，并为每个目标谓词使用轻量级模型，以提升效率和可扩展性。
• 利用图像数据集中的场景图作为关系知识库，将其转换为 KB 以进行规则归纳。
• 通过可微分松弛化逻辑操作实现端到端训练，支持基于梯度的优化。

实验结果

研究问题

• RQ1 可微分的 ILP 框架能否在保持规则表达能力的同时，扩展至包含数百万实体的大型关系数据集？
• RQ2 NLIL 能否在计算效率保持的前提下，学习到比现有方法更长、更复杂的首阶逻辑规则？
• RQ3 所学习的符号规则能否在预测性能上与密集神经网络模型相媲美，特别是在训练数据有限的情况下？
• RQ4 NLIL 生成的规则是否能超越表面相关性，捕捉到关系数据中具有意义且可泛化的模式？

主要发现

• NLIL 相较于最先进方法（如 NeuralLP），实现了10倍长的规则搜索能力和3倍快的训练速度。
• 在包含100万实体的 Visual Genome 数据集上，NLIL 学习的规则在 R@1 达到 0.51，R@5 达到 0.52，优于频率基线（R@1: 0.40），并接近监督式 MLP-RCNN 基线（R@1: 0.53）。
• 在训练数据不足1%的情况下，NLIL 仍保持稳定的 R@1 分数，展现出强大的数据效率和泛化能力。
• 所学习的规则捕捉到了非平凡的、类常识的模式（例如：'若 X 在车内且穿着衣物，则 X 是一个人'），表明其超越了表面相关性。
• NLIL 在规则长度上具有高效的可扩展性：NLIL 中规则长度为32的训练时间，与 NeuralLP 中规则长度为3的训练时间相当，归因于其搜索空间呈对数增长。
• 尽管 NLIL 在 FB15K 上表现不及 RotatE，但其性能与 TransE 相当，且其符号规则保持可解释性和全局一致性。