[論文レビュー] SAT-Based PAC Learning of Description Logic Concepts

Balder ten Cate, Maurice Funk+2 more|arXiv (Cornell University)|May 15, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、${\cal E\!\!>LH}^{r}$オントロジーにおける記述論理概念の学習のための、SATに基づくPAC学習フレームワーク「バウンデッドフィッティング」を提案する。繰り返しサイズ制限付きの概念をSATソルバを用いて探索することで、形式的なPAC一般化保証が得られ、SPELLと呼ばれるシステムにより、従来の学習者（例：ELTL）と比較して実行時間とスケーラビリティの面で優れた性能を発揮する。

ABSTRACT

We propose bounded fitting as a scheme for learning description logic concepts in the presence of ontologies. A main advantage is that the resulting learning algorithms come with theoretical guarantees regarding their generalization to unseen examples in the sense of PAC learning. We prove that, in contrast, several other natural learning algorithms fail to provide such guarantees. As a further contribution, we present the system SPELL which efficiently implements bounded fitting for the description logic $\mathcal{ELH}^r$ based on a SAT solver, and compare its performance to a state-of-the-art learner.

研究の動機と目的

• 既存のDL概念学習システムにおける形式的な一般化保証の欠如に対処すること。
• サイズ制限付きの概念探索を通じてPAC学習特性を保証する学習フレームワークを開発すること。
• ${\cal E\!\!>L}$概念の${\cal E\!\!>LH}^{r}$オントロジー下での効率的でSATベースのシステムの実装をすること。
• バウンデッドフィッティングの一般化性能と実行性能を、最先端の学習者と比較して実験的に評価すること。
• リファインメントオペレーターや最も具体的／最も一般的な適合アルゴリズムを含む、代替的学習アプローチのサンプル効率を分析すること。

提案手法

• バウンデッドフィッティングは、オントロジー下ですべての訓練例に適合するサイズ制限付きの概念を、段階的にサイズ上限を大きくしながら探索する。
• サイズ制限付きの適合問題はSATに還元され、効率的なSATソルバを用いてスケーラブルな計算が可能になる。
• このアプローチはオッカムの剃刀に基づいており、返される概念が小さくなるように保証され、これによりPAC一般化が保証される。
• CNFにオントロジーおよび概念制約を符号化することで、SATソルバを用いてバウンデッドフィッティングを実行するシステムSPELLを実装した。
• 各サイズ上限kに対して、各ラウンドでk-ユニバーサルデータベース近似を用いて、ユニバーサルデータベースの挙動を模倣する。
• 理論的分析により、リファインメントベースや最も具体的な適合法を含む他のアルゴリズムと比較して、バウンデッドフィッティングのサンプル効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 バウンデッドフィッティングは、記述論理概念学習に対して形式的なPAC学習保証を提供できるか？
• RQ2 リファインメントオペレーターや最も具体的な適合法といった他の学習アルゴリズムと比較して、バウンデッドフィッティングのサンプル効率はどの程度か？
• RQ3 ELTLのような既存のDL学習者と比較して、SATベースの実装（SPELL）の性能はいかがなものか？
• RQ4 既存のシステムと比較して、バウンデッドフィッティングはより大きな概念をより効率的に学習できるか？
• RQ5 バウンデッドフィッティングとリファインメントベースの学習者、両方とも小さな訓練データセットでも未観測データに対して十分に一般化できるか？

主な発見

• バウンデッドフィッティングは、オッカムのアルゴリズムであるため、形式的なPAC一般化保証を提供する。これにより、サンプル複雑度は1/δ、1/ε、およびターゲット概念のサイズに線形に依存する。
• ${\cal E\!\!>L}$概念のサイズ制限付き適合問題は、${\cal E\!\!>LH}^{r}$オントロジー下でNP完全であるため、効率的なSATベースの符号化が可能である。
• SPELLはすべてのデータセットでELTLを上回る実行時間性能を示し、特に大きな概念に対して顕著な短い実行時間を達成した。
• SPELLの実行時間は主にターゲット概念のサイズに依存しており、これによりELTLよりも大きなクエリにスケーラブルに拡張可能である。
• SPELLとELTLの両方が、非常に小さな訓練サンプルでも未観測データに対して良好に一般化するが、ELTLの成功の理由はヒューリスティック設計のため、依然として明確でない。
• 最も具体的な適合法や標準的なリファインメントオペレータ（人工的なオッカム制約なし）はサンプル効率が低く、PAC保証を提供できない。