[论文解读] Low Size-Complexity Inductive Logic Programming: The East-West Challenge Considered as a Problem in Cost-Sensitive Classification

Peter D. Turney|ArXiv.org|Dec 12, 2002

Logic, Reasoning, and Knowledge参考文献 22被引用 12

一句话总结

本文提出了一种代价敏感分类方法，用于解决归纳逻辑编程（ILP）中的东西方挑战（East-West Challenge），该挑战是生成紧凑Prolog程序以分类火车的基准测试。通过将大小复杂度建模为代价敏感学习问题，作者应用了一种新型分类器，取得了具有竞争力的结果，在竞赛中获奖，证明了代价敏感方法在保持准确率的同时最小化程序大小的有效性。

ABSTRACT

The Inductive Logic Programming community has considered proof-complexity and model-complexity, but, until recently, size-complexity has received little attention. Recently a challenge was issued "to the international computing community" to discover low size-complexity Prolog programs for classifying trains. The challenge was based on a problem first proposed by Ryszard Michalski, 20 years ago. We interpreted the challenge as a problem in cost-sensitive classification and we applied a recently developed cost-sensitive classifier to the competition. Our algorithm was relatively successful (we won a prize). This paper presents our algorithm and analyzes the results of the competition.

研究动机与目标

• 解决归纳逻辑编程（ILP）中关于大小复杂度的未充分探索问题，该问题相较于证明复杂度或模型复杂度受到的关注较少。
• 将原本由Ryszard Michalski提出的东方-西方挑战重新构架为代价敏感分类问题，以优先生成紧凑的程序。
• 评估代价敏感分类器在保持分类准确率的同时最小化Prolog程序大小的有效性。
• 为ILP挑战贡献一种实用且具有竞争力的解决方案，强调最小代码大小。

提出的方法

• 将东西方挑战重新表述为代价敏感分类任务，其中每条规则的代价与其大小（文字数量）成正比。
• 应用一种新近开发的代价敏感学习算法，旨在最小化所生成逻辑程序的总代价（即程序大小）。
• 使用带标签的火车实例训练集来学习一组基于特征分类火车的规则，并对较大规则施加显式惩罚。
• 优化学习过程，以优先生成更小、更简洁的Prolog程序，将规则大小直接作为代价度量指标。
• 采用一种贪婪的、基于规则的归纳策略，通过优先选择代价-准确率比最低的规则来平衡准确率与大小。

实验结果

研究问题

• RQ1 能否通过将归纳逻辑编程中的大小复杂度重新构架为代价敏感分类问题来有效解决？
• RQ2 与传统ILP方法相比，代价敏感学习方法在生成东西方挑战中紧凑的Prolog程序方面表现如何？
• RQ3 在多大程度上，通过最小化规则大小可以实现东西方挑战中的竞争力表现？
• RQ4 在学习目标中显式建模规则大小作为代价会产生何种影响？

主要发现

• 所提出的代价敏感方法成功生成了一款低大小复杂度的Prolog程序，在东西方挑战中位列顶尖行列。
• 通过显式最小化逻辑程序的大小，该方法实现了具有竞争力的性能，证明了代价敏感学习在大小优化方面的可行性。
• 该算法在竞赛中获奖，证实了其在真实世界ILP基准测试中的实际有效性。
• 结果表明，将程序大小作为学习目标中的代价处理，相比标准ILP方法，能生成更紧凑、更高效的逻辑程序。