[论文解读] Learning Concepts Definable in First-Order Logic with Counting

Steffen van Bergerem|arXiv (Cornell University)|Sep 9, 2019

Machine Learning and Algorithms参考文献 70被引用 6

一句话总结

该论文证明了在度数为多对数的关联结构上，可通过亚线性时间一致学习那些在带计数的一阶逻辑（FOCN）中可定义的布尔分类问题。该结果进一步扩展至度数最多为 (log log n)^c 的结构上的广义PAC学习，表明逻辑中的数值聚合可实现度数约束下的高效学习，同时表明无度数限制时，即使对于纯一阶逻辑，亚线性学习也是不可能的。

ABSTRACT

We study Boolean classification problems over relational background structures in the logical framework introduced by Grohe and Turán (TOCS 2004). It is known (Grohe and Ritzert, LICS 2017) that classifiers definable in first-order logic over structures of polylogarithmic degree can be learned in sublinear time, where the degree of the structure and the running time are measured in terms of the size of the structure. We generalise the results to the first-order logic with counting FOCN, which was introduced by Kuske and Schweikardt (LICS 2017) as an expressive logic generalising various other counting logics. Specifically, we prove that classifiers definable in FOCN over classes of structures of polylogarithmic degree can be consistently learned in sublinear time. This can be seen as a first step towards extending the learning framework to include numerical aspects of machine learning. We extend the result to agnostic probably approximately correct (PAC) learning for classes of structures of degree at most $(\log \log n)^c$ for some constant $c$. Moreover, we show that bounding the degree is crucial to obtain sublinear-time learning algorithms. That is, we prove that, for structures of unbounded degree, learning is not possible in sublinear time, even for classifiers definable in plain first-order logic.

研究动机与目标

• 将亚线性时间学习结果从纯一阶逻辑扩展至带计数的一阶逻辑（FOCN）。
• 探究通过逻辑中的计数实现数值聚合是否能实现亚线性时间内的高效学习。
• 确定度数约束是否对亚线性学习至关重要，尤其是在引入计数的情况下。
• 将一致学习结果推广至在增长度数边界下的广义PAC学习。
• 探索包含数值运算（如计数和聚合）的逻辑框架中可学习性的极限。

提出的方法

• 利用盖夫曼风格的局部性与汉夫范式，将公式在低度结构中局部化。
• 使用有界半径的球形公式表示局部性质，从而实现高效假设枚举。
• 应用AERM算法（激进冗余模型消除）从训练样本中学习假设。
• 通过小球的同构类型界定了非等价假设的数量，表明其对 log |A| 的多项式依赖。
• 通过PAC界限制相关训练样本数量，从而实现亚线性运行时间。
• 通过证明在无界度数结构上亚线性学习不可能，从而证明度数约束的必要性。

实验结果

研究问题

• RQ1 在度数最多为多对数的关联结构上，能否在亚线性时间内学习那些在FOCN中可定义的分类器？
• RQ2 在度数增长的边界下，一阶逻辑中引入计数是否能实现亚线性时间的广义PAC学习？
• RQ3 即使对于纯一阶逻辑，结构的度数是否仍是亚线性学习的根本障碍？
• RQ4 FOCN的可学习性结果能否推广至包含数值聚合的更表达力强的逻辑？
• RQ5 汉夫范式或基于局部性的技术是否足以确保FOCN及相关逻辑的可学习性？

主要发现

• 在度数最多为 (log log n)^c 的结构上，FOCN分类器在一致学习和广义PAC学习模型下均可实现亚线性时间学习。
• 非等价假设的数量被界为 O(|A|^{ℓ + |σ|})，其中 ℓ 为某常数，σ 为签名，从而实现高效学习。
• 通过将所需训练样本数量限制在 O(log |A| / ε²) 内，实现了亚线性运行时间，该数量在结构大小上为亚线性。
• 度数边界至关重要：在无界度数结构上，即使对于纯一阶逻辑，亚线性学习也是不可能的。
• 结果证实，诸如计数等数值运算可被整合进逻辑学习框架，以实现高效且可扩展的学习。