[論文レビュー] Learning first-order definable concepts over structures of small degree

Martin Grohe, Martin Ritzert|arXiv (Cornell University)|Jun 20, 2017

Machine Learning and Algorithms参考文献 28被引用数 14

ひとこと要約

本論文は、背景構造上の1階論理式によって概念が定義される宣言的機械学習フレームワークを提案する。構造の次数が多項対数的である場合、このような概念は多項対数的時間でPAC学習可能であることが示され、スパースな関係的データ上での学習に対して強力な効率的保証が得られる。

ABSTRACT

We consider a declarative framework for machine learning where concepts and hypotheses are defined by formulas of a logic over some structure. We show that within this framework, concepts defined by first-order formulas over a background structure of at most polylogarithmic degree can be learned in polylogarithmic time in the probably approximately correct learning sense.

研究の動機と目的

• 背景構造上の1階論理式によって概念が定義される宣言的機械学習フレームワークの開発。
• PAC学習の観点から、1階論理で定義可能な概念の計算複雑度の調査。
• 効率的学習を可能にする背景構造の構造的条件の同定。
• 構造の多項対数的次数が多項対数的時間での学習を可能にすることの確立。

提案手法

• 学習を、固定された背景構造上の概念を定義する1階論理式を特定するタスクとして形式化する。
• 解析を、最大でも多項対数的次数の構造に制限し、スパarsityを保証する。
• PAC学習理論を適用して、1階論理で定義可能な概念の学習におけるサンプル数と時間複雑度を分析する。
• 低次数グラフの構造的性質を活用して、概念学習の複雑度を上限付ける。
• 論理的定義可能性と組合せ的境界を用いて、時間複雑度の結果を導出する。
• 必要な例の数と学習に要する時間の両方が、入力サイズに関して多項対数的に増加することを確立する。

実験結果

リサーチクエスチョン

• RQ1 次数が低い構造上の1階論理で定義可能な概念は、PAC学習の観点から効率的に学習可能か？
• RQ2 背景構造のどの構造的性質が多項対数的時間での学習を可能にするか？
• RQ3 構造の次数が、学習のサンプル数と時間複雑度にどのように影響するか？
• RQ4 1階論理的概念学習が多項対数的時間で実行可能な関係的構造のクラスは存在するか？

主な発見

• 多項対数的次数の構造上の1階論理で定義可能な概念は、PAC学習モデル下で多項対数的時間で学習可能である。
• 構造が大きくなっても、学習の時間複雑度は入力サイズの多項対数関数で上限付けられる。
• 標準的なPAC学習の仮定（誤差と信頼度の上限）のもとでこの結果は成り立つ。
• 構造のスパarsity（低次数）は、多項対数的時間の上限を達成するために不可欠である。
• 構造の次数が多項対数的であれば、任意の関係的構造上で学習が可能である。
• このアプローチは、スパースかつ構造的なデータ上での効率的学習の理論的基盤を提供する。