[論文レビュー] Knowledge Refactoring for Program Induction

Sebastijan Dumančić, Andrew Cropper|arXiv (Cornell University)|Apr 21, 2020

Natural Language Processing Techniques参考文献 28被引用数 2

ひとこと要約

この論文は、論理プログラムの再構築を通じてサイズと冗長性を削減することにより、機械学習の効率を向上させる知識再構築を導入する。制約最適化システム「Knorf」を用いることで、文字列変換およびレゴ構造物の構築タスクにおいて、予測精度を4倍に向上させるとともに、学習時間を半減する。

ABSTRACT

Humans constantly restructure knowledge to use it more efficiently. Our goal is to give a machine learning system similar abilities so that it can learn more efficiently. We introduce the extit{knowledge refactoring} problem, where the goal is to restructure a learner's knowledge base to reduce its size and to minimise redundancy in it. We focus on inductive logic programming, where the knowledge base is a logic program. We introduce Knorf, a system which solves the refactoring problem using constraint optimisation. We evaluate our approach on two program induction domains: real-world string transformations and building Lego structures. Our experiments show that learning from refactored knowledge can improve predictive accuracies fourfold and reduce learning times by half.

研究の動機と目的

• 機械学習システムが人間が行うように知識を再構築できることを可能にし、学習効率を向上させること。
• 誘導論理プログラミングで使用される論理プログラム知識ベースにおける冗長性と肥大化を解決すること。
• 知識を自動的に再構築し、サイズを最小限に抑えながら学習パフォーマンスを最大化するシステムを開発すること。
• 再構築された知識が、現実世界のプログラム誘導タスクにおける予測精度と学習速度に与える影響を評価すること。

提案手法

• 論文は、論理プログラムにおける冗長性とサイズの最小化を目的として、知識再構築を制約最適化問題として定式化する。
• 提案されたシステム「Knorf」は、制約解法を用いて論理プログラムをよりコンactかつ効率的な形に再構築する。
• このアプローチは、知識が論理プログラムとして表現される誘導論理プログラミング（ILP）に焦点を当てる。
• 再構築には、重複する節の同定と統合、論理式の単純化、不要な述語の削除が含まれる。
• 再構築された知識ベースにおけるコンパクト性と表現力のバランスを取るために最適化技術が適用される。
• 評価は2つのドメインで実施される：現実世界の文字列変換およびレゴ構造物の構築。

実験結果

リサーチクエスチョン

• RQ1 論理プログラムの知識ベースの再構築は、そのサイズと冗長性を削減しつつ、予測性能を保持または向上させることができるか？
• RQ2 知識再構築は、プログラム誘導タスクにおける学習速度と精度にどのように影響を与えるか？
• RQ3 制約最適化を用いて、学習効率を向上させるために論理プログラムを自動的に再構築することはどの程度可能か？
• RQ4 再構築された知識は、現実世界のプログラム誘導シナリオにおける一般化性能を向上させるか？

主な発見

• 再構築された知識からの学習により、未再構築の知識からの学習に比べ、予測精度が最大で4倍向上した。
• 再構築された知識ベースを用いることで、学習時間が約50%短縮された。
• Knorfシステムは、文字列変換およびレゴ構造物の構築タスクの両方で、冗長性を効果的に低減し、論理プログラムのサイズを縮小した。
• 性能向上は、テストされた2つの現実世界のプログラム誘導ドメインにおいて一貫して観察された。
• 制約最適化は、効率的な学習に適した、コンパクトで高品質な論理プログラム表現を生成するのに有効であることが示された。
• 再構築された知識は、誘導論理プログラミングタスクにおける収束速度の向上と高い精度を実現した。