[论文解读] Knowledge Refactoring for Program Induction

Sebastijan Dumančić, Andrew Cropper|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 28被引用 2

一句话总结

本文引入知识重构技术，通过重构逻辑程序以减少规模和冗余，从而提升机器学习效率。采用名为Knorf的约束优化系统，该方法在字符串转换和乐高积木构建任务中，使预测准确率提升四倍，学习时间减少一半。

ABSTRACT

Humans constantly restructure knowledge to use it more efficiently. Our goal is to give a machine learning system similar abilities so that it can learn more efficiently. We introduce the extit{knowledge refactoring} problem, where the goal is to restructure a learner's knowledge base to reduce its size and to minimise redundancy in it. We focus on inductive logic programming, where the knowledge base is a logic program. We introduce Knorf, a system which solves the refactoring problem using constraint optimisation. We evaluate our approach on two program induction domains: real-world string transformations and building Lego structures. Our experiments show that learning from refactored knowledge can improve predictive accuracies fourfold and reduce learning times by half.

研究动机与目标

• 使机器学习系统能够像人类一样重构知识，从而提升学习效率。
• 解决归纳逻辑编程中逻辑程序知识库存在的冗余和膨胀问题。
• 开发一种可自动重构知识以最小化规模并最大化学习性能的系统。
• 评估重构知识对真实世界程序归纳任务中预测准确率和学习速度的影响。

提出的方法

• 本文将知识重构形式化为约束优化问题，以最小化逻辑程序中的冗余和规模。
• 所提出的系统Knorf利用约束求解技术，将逻辑程序重构为更紧凑和高效的形态。
• 该方法聚焦于归纳逻辑编程（ILP），其中知识以逻辑程序形式表示。
• 重构包括识别并合并冗余子句、简化逻辑表达式，以及消除不必要的谓词。
• 该系统应用优化技术，以在重构后的知识库中平衡紧凑性与表达能力。
• 评估在两个领域进行：真实世界的字符串转换和乐高结构构建。

实验结果

研究问题

• RQ1 重构逻辑程序的知识库是否能在保持或提升预测性能的同时减少其规模和冗余？
• RQ2 知识重构对程序归纳任务中的学习速度和准确率有何影响？
• RQ3 约束优化在多大程度上可用于自动重构逻辑程序以提升学习效率？
• RQ4 重构后的知识是否能在真实世界程序归纳场景中实现更好的泛化能力？

主要发现

• 与使用未重构知识相比，从重构知识中学习可使预测准确率最高提升四倍。
• 使用重构知识库时，学习时间减少了约50%。
• Knorf系统在字符串转换和乐高结构构建任务中，成功最小化了冗余并减少了逻辑程序的规模。
• 性能提升在所测试的两个真实世界程序归纳领域中均保持一致。
• 约束优化在生成紧凑且高质量的逻辑程序表示方面表现有效，适用于高效学习。
• 重构知识使归纳逻辑编程任务中的收敛速度更快、准确率更高。