[論文レビュー] Learning Concepts Definable in First-Order Logic with Counting

Steffen van Bergerem|arXiv (Cornell University)|Sep 9, 2019

Machine Learning and Algorithms参考文献 70被引用数 6

ひとこと要約

この論文は、多項対数的次数の関係構造上で、数え上げを含む一階論理（FOCN）で定義可能なブール分類問題が、一様に学習可能であることを確立している。さらに、次数が最大 (log log n)^c の構造におけるアグノスティックPAC学習へこの結果を拡張し、論理における数値集約が次数制約下で効率的な学習を可能にすることを示している。一方で、無限大の次数では、すなわち単純な一階論理ですら、部分線形時間での学習が不可能であることを示している。

ABSTRACT

We study Boolean classification problems over relational background structures in the logical framework introduced by Grohe and Turán (TOCS 2004). It is known (Grohe and Ritzert, LICS 2017) that classifiers definable in first-order logic over structures of polylogarithmic degree can be learned in sublinear time, where the degree of the structure and the running time are measured in terms of the size of the structure. We generalise the results to the first-order logic with counting FOCN, which was introduced by Kuske and Schweikardt (LICS 2017) as an expressive logic generalising various other counting logics. Specifically, we prove that classifiers definable in FOCN over classes of structures of polylogarithmic degree can be consistently learned in sublinear time. This can be seen as a first step towards extending the learning framework to include numerical aspects of machine learning. We extend the result to agnostic probably approximately correct (PAC) learning for classes of structures of degree at most $(\log \log n)^c$ for some constant $c$. Moreover, we show that bounding the degree is crucial to obtain sublinear-time learning algorithms. That is, we prove that, for structures of unbounded degree, learning is not possible in sublinear time, even for classifiers definable in plain first-order logic.

研究の動機と目的

• 単純な一階論理から、数え上げを含む一階論理（FOCN）への部分線形時間学習結果の拡張。
• 論理における数値集約（特に数え上げ）が、部分線形時間での効率的学習を可能にするかどうかの調査。
• 次数制約が部分線形学習にとって本質的であるかどうか、特に数え上げを含む文脈での検討。
• 成長する次数制約下での一貫性学習結果を、アグノスティックPAC学習に一般化すること。
• 加算や集約などの数値演算を含む論理的枠組みにおける学習可能性の限界の探求。

提案手法

• 低次数構造における論理式の局所化に、ガイフマン風の局所性とハーフ正規形を活用する。
• 半径が有界な球体論理式を用いて局所的性質を表現し、効率的な仮説列挙を可能にする。
• 訓練例から仮説を学習するために、AERMアルゴリズム（冗長モデルの積極的除外）を適用する。
• 小さな球体の同型型を用いて非同値な仮説の数を制限し、|A|の対数的依存性を示す。
• PAC境界を用いて関連する訓練例の数を制限することで、部分線形実行時間を確立する。
• 次数制約が不可欠であることを示すために、無限大次数の構造では部分線形学習が不可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 多項対数的次数の関係構造上で、FOCNで定義可能な分類器は部分線形時間で学習可能か？
• RQ2 一階論理に数え上げを組み込むことで、成長する次数制約下でも部分線形時間でのアグノスティックPAC学習が可能になるか？
• RQ3 構造の次数は、単純な一階論理に対しても、部分線形学習の根本的障壁となるか？
• RQ4 FOCNにおける学習可能性結果は、数値集約を含むより表現力の高い論理へ拡張可能か？
• RQ5 ハーフ正規形や局所性に基づく技術は、FOCNおよび関連論理における学習可能性を保証するのに十分か？

主な発見

• 次数が最大 (log log n)^c である構造上では、一貫性学習およびアグノスティックPAC学習の両モデルにおいて、FOCN分類器を部分線形時間で学習可能である。
• 非同値な仮説の数は、ある定数 ℓ と記号集合 σ に対して O(|A|^{ℓ + |σ|}) で抑えられ、これにより効率的学習が可能である。
• 必要な訓練例の数を O(log |A| / ε²) に制限することで、部分線形実行時間が達成され、これは構造のサイズに対して部分線形的である。
• 次数制約は極めて重要であり、無限大次数の構造では、単純な一階論理に対しても部分線形時間での学習は不可能である。
• 加算などの数値演算が論理的学習枠組みに統合可能であり、効率的かつスケーラブルな学習を実現できることを確認した。