[論文レビュー] Abductive Knowledge Induction From Raw Data

Wang-Zhou Dai, Stephen Muggleton|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、原始的なデータから再帰的1階論理理論と述語発明を共同で学習する神経記号的フレームワークである帰納的メタ解釈学習（Meta$_{Abd}$）を提案する。メタ解釈学習フレームワーク内に帰納と帰納を統合することで、最先端のモデルと比較して予測精度とデータ効率に優れ、解釈可能で再利用可能な論理プログラムを生成する。

ABSTRACT

For many reasoning-heavy tasks involving raw inputs, it is challenging to design an appropriate end-to-end learning pipeline. Neuro-Symbolic Learning, divide the process into sub-symbolic perception and symbolic reasoning, trying to utilise data-driven machine learning and knowledge-driven reasoning simultaneously. However, they suffer from the exponential computational complexity within the interface between these two components, where the sub-symbolic learning model lacks direct supervision, and the symbolic model lacks accurate input facts. Hence, most of them assume the existence of a strong symbolic knowledge base and only learn the perception model while avoiding a crucial problem: where does the knowledge come from? In this paper, we present Abductive Meta-Interpretive Learning ($Meta_{Abd}$) that unites abduction and induction to learn neural networks and induce logic theories jointly from raw data. Experimental results demonstrate that $Meta_{Abd}$ not only outperforms the compared systems in predictive accuracy and data efficiency but also induces logic programs that can be re-used as background knowledge in subsequent learning tasks. To the best of our knowledge, $Meta_{Abd}$ is the first system that can jointly learn neural networks from scratch and induce recursive first-order logic theories with predicate invention.

研究の動機と目的

• 事前に用意された記号的知識ベースに依存せずにエンドツーエンドの神経記号的システムを訓練するという課題に対処すること。
• 原始的でサブ記号的な入力からニューラル認識モデルと記号的論理理論を共同で学習すること。
• 神経学習と論理的帰納と帰納を統合した統一フレームワーク内で、述語発明と再帰的理論誘導を支援すること。
• 帰納的推論を活用して探索空間を縮小することで、推論中心のタスクにおけるデータ効率と予測性能を向上させること。
• 将来の学習タスクに応用可能な解釈可能で再利用可能な論理プログラムを生成すること。

提案手法

• Meta$_{Abd}$は、画像や系列などの原始的データから確率的論理的事実を抽出するためのニューラルネットワークを用いる。
• 帰納的論理プログラミングを用いて、観察されたデータを満たす最小の説明を探索することで、これらの事実の真偽値を推論する。
• 誘導的論理プログラミング（ILP）とメタ解釈学習を組み合わせることで、再帰的かつ発明された述語を含む1階論理理論を誘導する。
• 帰納を用いて、ニューラルネットワークが生成した事実の整合的でない、または不自然な真偽割り当てを除外することで、論理プログラムの仮説空間を制約する。
• 認識と推論のバランスを取る確率的モデルを用いて、ニューラル重みと論理プログラムの仮説を同時に最適化する。
• カリキュラム学習戦略を適用し、例えば「sorted」述語の学習といった部分的タスクを最初に学習し、それをもとにより複雑なタスク（例：ソート）を訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前に用意された記号的知識ベースがなくても、原始的データからニューラルネットワークと1階論理理論を共同で学習できる神経記号的システムは存在するか？
• RQ2 このシステムは、サブ記号的入力から述語発明を行い、再帰的論理プログラムを誘導できるか？
• RQ3 帰納の統合により、既存の神経記号的モデルと比較して、推論タスクにおけるデータ効率と予測正確性が向上するか？
• RQ4 学習された論理プログラムとニューラルモデルは、下流タスクで再利用可能か？
• RQ5 強い事前知識に基づくモデルと比較して、弱い背景知識下でもMeta$_{Abd}$はどのように性能を発揮するか？

主な発見

• Meta$_{Abd}$はNeuralSortやNLMを上回り、弱い背景知識のもとでも顕著に高い正確性を達成した。
• システムは20件未満の訓練例から「sorted」（述語sで表記）の概念を学習し、高いデータ効率を示した。
• Meta$_{Abd}$は、図3(a)に示すように、発明された述語s_1を含む再帰的論理プログラムを成功裏に誘導した。
• ニューラルモデル（nn_pred）は、方向（例：「より大きい」や「より小さい」）に関する教師なし条件下でも、MNIST画像の二項部分順序を学習した。
• 「sorted」用の学習済み論理プログラムとニューラル認識モデルが、ソートタスクで成功裏に再利用され、再利用可能性とモularityが確認された。
• NLMはいかなる有効な認識モデルやソートアルゴリズムも学習できず（0.0％の成功率）、Meta$_{Abd}$の優れた訓練安定性と効率性が浮き彫りになった。