[论文解读] Inductive logic programming at 30: a new introduction

Andrew Cropper, Sebastijan Dumančić|arXiv (Cornell University)|Aug 18, 2020

Data Mining Algorithms and Applications被引用 6

一句话总结

本文在归纳逻辑编程（ILP）诞生30周年之际，提供了一篇全面且更新的导论，通过形式化逻辑基础、系统对比和现代应用重新定义了该领域。它提出了一套统一的符号机器学习框架，使用逻辑规则，突出展示了Aleph、TILDE、ASPAL和Metagol等关键系统，并指出终身学习、噪声背景知识以及端到端感知-符号学习是未来的关键挑战，有望在可解释性和概率集成方面取得突破。

ABSTRACT

Inductive logic programming (ILP) is a form of machine learning. The goal of ILP is to induce a hypothesis (a set of logical rules) that generalises training examples. As ILP turns 30, we provide a new introduction to the field. We introduce the necessary logical notation and the main learning settings; describe the building blocks of an ILP system; compare several systems on several dimensions; describe four systems (Aleph, TILDE, ASPAL, and Metagol); highlight key application areas; and, finally, summarise current limitations and directions for future research.

研究动机与目标

• 为研究人员和从业者提供一种现代且易于理解的归纳逻辑编程（ILP）入门介绍。
• 利用一阶逻辑、背景知识和正/负样本，阐明ILP的形式化基础。
• 从学习范式和表达能力等关键维度，对比主要ILP系统（Aleph、TILIDE、ASPAL、Metagol）的异同。
• 识别并分析ILP当前的局限性，包括终身学习、噪声背景知识以及感知-符号融合。
• 规划未来研究方向，尤其关注可解释性、概率推理以及从原始数据端到端学习。

提出的方法

• 使用一阶逻辑将ILP形式化为逻辑推理问题：假设H必须在给定背景知识B的前提下，逻辑蕴含正样本并排除负样本。
• 通过原子（例如，happy(alice)）将数据表示为逻辑程序，B、E+和E−作为ILP任务的核心组成部分。
• 使用逆向蕴含符号（head :- body）表达规则，其中变量的全称量化被隐含表示。
• 基于学习范式（如自顶向下vs.自底向上）、搜索策略以及规则表达能力，对ILP系统进行比较。
• 引入背景知识相关性的概念，提出神经评分方法以过滤无关BK，提升可扩展性。
• 倡导采用概率ILP和可微方法（如∂ILP）以处理不确定性及终身学习场景下的噪声BK。

实验结果

研究问题

• RQ1 如何以现代形式化和清晰性重新引入ILP，以适应当代研究者？
• RQ2 主要ILP系统（如Aleph、TILDE、ASPAL和Metagol）在架构和方法论上的关键差异是什么？
• RQ3 ILP系统如何在终身学习场景中有效处理无关或噪声的背景知识？
• RQ4 从图像或文本等原始感官数据中直接学习符号程序的主要挑战是什么？
• RQ5 如何扩展ILP以整合概率推理，从而在不确定性下保持鲁棒性？

主要发现

• ILP仍是符号机器学习的强大范式，其假设以可解释的逻辑规则形式表达，能从正负样本中泛化。
• Metagol和Aleph等系统在关系学习中表现优异，尤其在需要关系归纳偏置的任务中。
• 灾难性记忆问题（即无关背景知识阻碍学习）仍是关键挑战，现有解决方案有限。
• 对背景知识进行神经评分在相关性过滤方面显示出潜力，但在包含数千个关系的规模上缺乏实证验证。
• 概率化和可微扩展（如∂ILP）为处理不确定性提供了路径，但研究仍不充分，且面临推理可扩展性问题。
• 从原始数据（如图像）实现端到端学习仍是重大开放挑战，尽管初步工作表明联合感知与符号推理具有潜力。