[论文解读] Learning first-order definable concepts over structures of small degree

Martin Grohe, Martin Ritzert|arXiv (Cornell University)|Jun 20, 2017

Machine Learning and Algorithms参考文献 28被引用 14

一句话总结

本文提出了一种声明式机器学习框架，其中概念通过背景结构上的的一阶逻辑公式来定义。当该结构具有对数多对数度时，此类概念可在对数多对数时间内被PAC学习，从而为在稀疏关系数据上学习提供了强有力的效率保证。

ABSTRACT

We consider a declarative framework for machine learning where concepts and hypotheses are defined by formulas of a logic over some structure. We show that within this framework, concepts defined by first-order formulas over a background structure of at most polylogarithmic degree can be learned in polylogarithmic time in the probably approximately correct learning sense.

研究动机与目标

• 开发一种声明式机器学习框架，其中概念通过固定背景结构上的一阶逻辑公式来定义。
• 研究在PAC学习意义下学习一阶可定义概念的计算复杂性。
• 识别背景结构的结构条件，以实现高效学习。
• 证明结构的对数多对数度可实现对数多对数时间内的学习。

提出的方法

• 将学习形式化为识别在固定背景结构上定义概念的一阶逻辑公式的任务。
• 将分析限制在度数至多为对数多对数的结构上，以确保稀疏性。
• 应用PAC学习理论来分析学习一阶可定义概念的样本复杂度和时间复杂度。
• 利用低度图的结构特性来限制概念学习的复杂度。
• 利用逻辑可定义性和组合界推导时间复杂度结果。
• 证明所需示例数量和学习时间随输入规模呈对数多对数增长。

实验结果

研究问题

• RQ1 在PAC意义下，能否高效学习低度结构上的一阶可定义概念？
• RQ2 背景结构的何种结构特性可实现对数多对数时间学习？
• RQ3 结构的度如何影响学习的样本复杂度和时间复杂度？
• RQ4 是否存在一类关系结构，使得一阶概念学习可在对数多对数时间内实现？

主要发现

• 在对数多对数度的结构上，一阶可定义概念可在PAC学习模型下实现对数多对数时间学习。
• 即使结构规模较大，学习的时间复杂度仍被限制为输入规模的对数多对数函数。
• 该结果在标准PAC学习假设下成立，包括有界误差和置信度。
• 结构稀疏性（低度）是实现对数多对数时间界限的关键因素。
• 该框架支持在任意关系结构上进行学习，只要其度数为对数多对数。
• 该方法为在稀疏、结构化数据上实现高效学习提供了理论基础。