[論文レビュー] Predicate Invention by Learning From Failures

Andrew Cropper, Rolf Morel|arXiv (Cornell University)|Apr 29, 2021

Logic, Reasoning, and Knowledge参考文献 31被引用数 6

ひとこと要約

この論文では、答え集合プログラミングを用いて失敗から学習することで、自動的述語発明を可能にする帰納的論理プログラミング（ILP）システムPoppiを紹介する。本手法は、ユーザー定義のメタルールや手動による記号指定を必要とせず、有用でコンパクトな述語を発見できることで、既存のILPシステムを上回る性能を発揮する。有用な場合に顕著な学習性能の向上を実現するが、不要な場合には効率的であり続ける。

ABSTRACT

Discovering novel high-level concepts is one of the most important steps needed for human-level AI. In inductive logic programming (ILP), discovering novel high-level concepts is known as predicate invention (PI). Although seen as crucial since the founding of ILP, PI is notoriously difficult and most ILP systems do not support it. In this paper, we introduce POPPI, an ILP system that formulates the PI problem as an answer set programming problem. Our experiments show that (i) PI can drastically improve learning performance when useful, (ii) PI is not too costly when unnecessary, and (iii) POPPI can substantially outperform existing ILP systems.

研究の動機と目的

• 人間水準のAIに不可欠なが、実際にはほとんどサポートされていない、帰納的論理プログラミング（ILP）における述語発明（PI）の長年の課題に取り組むこと。
• 述語のアリティや型をユーザーが手動で指定する必要がある、またはメタルールを事前に提供する必要があるという、既存のPI手法の制限を克服すること。
• 学習プロセスにスムーズに統合可能でスケーラブルな自動PI手法を開発し、仮説のコンパクトさと性能を向上させること。
• PIが有用な場合には顕著に有益であり、不要な場合にはコスト効率が良いことを実証すること。

提案手法

• 述語発明問題を答え集合プログラミング（ASP）の問題として定式化することで、記述的かつスケーラブルな推論を可能にする。
• 最適解に関して整合性を持つ新たな種類の重複制約を導入することで、失敗から学ぶ（LFF）フレームワークを拡張する。
• 学習プロセス中に自動的に述語のアリティと引数の型を推定し、ユーザー定義の記号やメタルールの必要性を排除する。
• 失敗解析を用いて仮説の制約を生成し、探索空間を縮小することで、効率性と収束性を向上させる。
• PIを学習ループの中心に統合し、同時に述語と仮説を発見可能にする。
• 生成・テスト・制約の3段階サイクルを採用し、失敗が候補仮説および発明された述語の精練を導く。

実験結果

リサーチクエスチョン

• RQ1 PIが有用な場合に、ILPにおける学習性能を顕著に向上させることができるか？
• RQ2 PIが必要でない場合、そのコストは無視できるほど小さいか？
• RQ3 自動的述語発明を備えたILPシステムは、ユーザー提供のメタルールに依存する既存のシステムを上回ることができるか？
• RQ4 提案された重複制約は、最適解を保持しつつ仮説空間を効果的に縮小できるか？
• RQ5 本システムは、自動的に発明された述語を用いて再帰的で複数の節を持つプログラムを学習できるか？

主な発見

• Poppiは、成功したすべてのプログラミングパズルで100％の予測精度を達成し、重複要素の検出やリストのソートといった複雑なタスクも含む。
• finddupタスクにおいて、Poppiは98％の精度（標準誤差0）を達成し、Metagolの50％を大きく上回った。
• 大多数のタスクでPoppiは1秒未満で解決策を学習したが、finddupタスクでは最長91秒かかった。一方、同じタスクでPopperは48秒を要した。
• Poppiの学習時間はPopperより常に長かったが、差は常に2倍未満に留まり、PIが役立たない場合でも著しくコストがかかるわけではないことが示された。
• PoppiはMetagolの能力を包含しており、その探索戦略を再現可能であるため、より包括的かつ強力なフレームワークであることが示された。
• 実験では、3つの問題を除き、PoppiはMetagolをすべて上回った。その3つの問題では同一の性能を示し、スケーラビリティと有効性の優位性を確認した。