[論文レビュー] Differentiable Learning of Logical Rules for Knowledge Base Reasoning

Fan Yang, Zhilin Yang+1 more|arXiv (Cornell University)|Feb 27, 2017

Bayesian Modeling and Causal Inference参考文献 32被引用数 173

ひとこと要約

Neural LPは、微分可能な枠組みの中で一階述語論理規則の構造とパラメータの両方を学習し、知識ベース上でのエンドツーエンド推論を可能にし、複数のベンチマークで高い成果を達成します。

ABSTRACT

We study the problem of learning probabilistic first-order logical rules for knowledge base reasoning. This learning problem is difficult because it requires learning the parameters in a continuous space as well as the structure in a discrete space. We propose a framework, Neural Logic Programming, that combines the parameter and structure learning of first-order logical rules in an end-to-end differentiable model. This approach is inspired by a recently-developed differentiable logic called TensorLog, where inference tasks can be compiled into sequences of differentiable operations. We design a neural controller system that learns to compose these operations. Empirically, our method outperforms prior work on multiple knowledge base benchmark datasets, including Freebase and WikiMovies.

研究の動機と目的

• 微分可能な設定でKB推論のための確率的一階述語論理規則を学習する動機づけ。
• 単一のエンドツーエンドモデル内で規則の構造とパラメータを同時に学習できるようにする。
• ニューラルコントローラ内でTensorLog風の微分可能演算子を活用して規則を構成する。
• 多様なデータセットにわたるKB補完、パス探索、QAタスクで経験的な改善を示す。

提案手法

• KB推論をニューラルコントローラによって学習される重み付きの確率的一階述語規則として表現する。
• 各関係に対してTensorLog演算子 M_R を用い、行列演算によって微分可能な推論を行う。
• 規則学習を再帰的・注意機構ベースのメモリネットワークへ再構成し、演算子の列をソフトに選択する。
• 変動長の規則長に対処するため、メモリベクトル u_t とアテンション a_t（演算子）および b_t（メモリ）を導入する。
• 勾配ベースの最適化でエンドツーエンドで訓練する；アテンションをたどることで人間が解釈可能な規則を回復する。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能なモデルは、KB推論のための論理規칙の構造とパラメータの両方を学習できるか？
• RQ2 標準的なKB補完ベンチマークおよび長い規則連鎖を要するタスクで、Neural LPはどれくらいの性能を示すか？
• RQ3 この微分可能な規則学習フレームワーク内で部分的に構造化されたクエリや自然言語クエリを扱うことは可能か？
• RQ4 学習された規則はモデルのアテンションからどの程度回復・解釈可能か？

主な発見

• Neural LPはKB補完ベンチマーク（WordNetおよびFreebase派生データを含む）と、難易度の高いFreebase15KSelectedタスクで高い性能を示す。
• 合成グリッド経路タスクで、Neural LPは長い規則（長さ6–8）を学習し、従来手法と比較して頑健性を示す。
• KB補完では、WN18で最先端の結果を、FB15KおよびFB15KSelectedで競争力のある結果を達成し、効果的な規則学習を示している。
• WikiMovies QAでは競争力のある精度を達成し、自然言語で出される質問を扱える能力を示す。
• 本モデルは学習済みコントローラを実行しアテンション分布を検査することで論理規則を回復でき、解釈可能な規則構造を生み出す。