[論文レビュー] Learning Reasoning Strategies in End-to-End Differentiable Proving

Pasquale Minervini, Sebastian Riedel+3 more|arXiv (Cornell University)|Jul 13, 2020

Intelligent Tutoring Systems and Adaptive Learning被引用数 30

ひとこと要約

本論文は Conditional Theorem Provers (CTPs) を提案する。これは Neural Theorem Provers (NTPs) の拡張で、適応的で微分可能なルール選択を学習し、スケーラブルで解釈可能なニューロシンボリック推論を可能にし、CLUTRR で最先端の結果を達成し、リンク予測性能にも競争力を示す。

ABSTRACT

Attempts to render deep learning models interpretable, data-efficient, and robust have seen some success through hybridisation with rule-based systems, for example, in Neural Theorem Provers (NTPs). These neuro-symbolic models can induce interpretable rules and learn representations from data via back-propagation, while providing logical explanations for their predictions. However, they are restricted by their computational complexity, as they need to consider all possible proof paths for explaining a goal, thus rendering them unfit for large-scale applications. We present Conditional Theorem Provers (CTPs), an extension to NTPs that learns an optimal rule selection strategy via gradient-based optimisation. We show that CTPs are scalable and yield state-of-the-art results on the CLUTRR dataset, which tests systematic generalisation of neural models by learning to reason over smaller graphs and evaluating on larger ones. Finally, CTPs show better link prediction results on standard benchmarks in comparison with other neural-symbolic models, while being explainable. All source code and datasets are available online, at https://github.com/uclnlp/ctp.

研究の動機と目的

• 過剰な全てのルールを考慮することによるスケーラビリティの制約という Neural Theorem Provers (NTPs) の限界に対処する。
• 探索空間を削減するための微分可能な、ゴール条件付きのルール選択機構を開発する。
• CLUTRR で最先端の結果を達成し、グラフベースの推論タスクにおける系統的一般化を検証する。
• 説明可能性を保ちつつ、標準的なリンク予測ベンチマークにおけるニューラルシンボリック推論性能を向上させる。

提案手法

• 与えられたゴールを証明するための、ゴール条件付きの小さなルール集合を生成する select モジュールを NTPs に拡張する。
• 述語と定数を連続埋め込みとして表現し、統合のための微分可能な類似度測度を用いる。
• select(G) を定義し、ゴールに条件付けられたルールのヘッドとボディを生成できるようにし、エンドツーエンドの微分可能性を実現する。
• ルールを生成または検索するためのニューラルなゴール再形成とメモリベースの再形成オプションを導入する。
• 述語に対するアテンション付き事前知識を導入し、述語埋め込みのソフトマックスアテンションを介して知識ベースに存在する関係を優先する。
• ルールを格納し、メモリ上の注意機構によってインデックス付けする、微分可能なメモリ代替を提供し、検査可能な推論経路を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能でゴール条件付きのセレクタは、すべての KB ルールを検討する必要性を減少させ、スケーラビリティを改善できるか。
• RQ2 適応的なルール選択を学習することは、CLUTRR のような推論タスクにおける系統的一般化を改善するか。
• RQ3 Conditional Theorem Provers (CTPs) は、標準的なベンチマークで従来の NTPs より良い性能を示すか。
• RQ4 メモリベースまたは注意機構を用いたゴール再形成は、解釈可能で競争力のある推論を提供できるか。

主な発見

• CTPs は適応的なルール選択を学習し、NTP が困難とする大規模データセットにスケールする。
• CTPs は CLUTRR で最先端の結果を達成し、系統的一般化の改善を示す。
• CTPs は、他のニューラルシンボリックモデルと比較して標準ベンチマークでより良いリンク予測結果を示し、説明可能性を保つ。
• このアプローチはエンドツーエンドの微分可能なトレーニングをサポートし、ルール選択と推論の共同最適化を可能にする。
• CTP 用のコードとデータセットがオンラインで公開され、再現性を促進する。