[論文レビュー] Probabilistic Logic Neural Networks for Reasoning

Meng Qu, Jian Tang|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 51被引用数 17

ひとこと要約

この論文では、マークフ・ロジック・ネットワーク（MLN）と知識グラフ埋め込みを統合することで、知識グラフ推論を向上させる確率的論理ニューラルネットワーク、pLogicNetを提案する。変分EMを用いた埋め込みベースの推論と論理ルール重み付けの交互最適化により、シンボリック推論とディープラーニングを効率的に統合し、2–3イテレーションで収束するという高い効率性を示しながら、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Knowledge graph reasoning, which aims at predicting the missing facts through reasoning with the observed facts, is critical to many applications. Such a problem has been widely explored by traditional logic rule-based approaches and recent knowledge graph embedding methods. A principled logic rule-based approach is the Markov Logic Network (MLN), which is able to leverage domain knowledge with first-order logic and meanwhile handle their uncertainty. However, the inference of MLNs is usually very difficult due to the complicated graph structures. Different from MLNs, knowledge graph embedding methods (e.g. TransE, DistMult) learn effective entity and relation embeddings for reasoning, which are much more effective and efficient. However, they are unable to leverage domain knowledge. In this paper, we propose the probabilistic Logic Neural Network (pLogicNet), which combines the advantages of both methods. A pLogicNet defines the joint distribution of all possible triplets by using a Markov logic network with first-order logic, which can be efficiently optimized with the variational EM algorithm. In the E-step, a knowledge graph embedding model is used for inferring the missing triplets, while in the M-step, the weights of logic rules are updated based on both the observed and predicted triplets. Experiments on multiple knowledge graphs prove the effectiveness of pLogicNet over many competitive baselines.

研究の動機と目的

• 従来の論理ルールベース手法が推論の複雑さと不確実性の問題を抱えるのに対し、知識グラフ埋め込み手法は解釈可能性とドメイン知識の統合に欠けるという点を是正する。
• 一階論理ルールによるシンボリック知識と、ディープラーニング埋め込みによる効率的かつスケーラブルな推論を活用する統合フレームワークを構築する。
• 埋め込みを用いたアモアタイズド推論により、論理ルールの効果的かつ効率的な学習を可能にし、欠落したトリプルの一般化とカバレッジを向上させる。
• 論理ルールと学習された埋め込みを組み合わせることで、標準的な知識グラフベンチマークデータセットにおいて優れた性能を発揮することを実証する。

提案手法

• pLogicNetは、すべてのトリプルの同時分布をマークフ・ロジック・ネットワーク（MLN）でモデル化し、各論理ルールに学習可能な重みを関連付ける。
• フレームワークは変分EMアルゴリズムを採用する：Eステップでは、知識グラフ埋め込みモデルがアモアタイズド平均場推論を実行し、隠れた（欠落した）トリプルを推定する。
• Mステップでは、観測済みおよび推定済みトリプルに基づく擬似尤度の最適化によりルール重みを更新し、エンドツーエンドの学習を可能にする。
• モデルは確率的勾配降下法で訓練され、大規模な知識グラフ上での効率的最適化を可能にする。
• 複数の関係的パターンを捉えるために、4つのルールパターン（合成、逆関係、対称、部分関係）を用いる。
• 反復的学習において、埋め込み予測を監視信号として用いることで、論理ルールの有効性を動的に向上させる。

実験結果

リサーチクエスチョン

• RQ1 シンボリック論理ルールとニューラル埋め込みを統合することで、知識グラフにおける推論性能が向上するか？
• RQ2 知識グラフ埋め込みの統合が、マークフ・ロジック・ネットワークの推論能力をどのように向上させるか？
• RQ3 異なる論理ルールパターン（例：逆関係、対称、合成）は、推論性能にどの程度寄与するか？
• RQ4 提案フレームワークの学習プロセスは収束速度とスケーラビリティの観点でどの程度効率的か？
• RQ5 多様な関係構造を有する多様な知識グラフデータセットに対して、モデルは一般化できるか？

主な発見

• FB15kとFB15k-237の両ベンチマークで最先端の性能を達成し、それぞれMRRが0.844および0.441に達し、すべての指標でベースラインを上回った。
• FB15kでは、pLogicNetにTransEを組み合わせた場合、Hit@1が81.2%に達し、ベースモデル（71.4%）と比べて顕著な向上を示した。
• モデルはわずか2–3イテレーションで収束し、高い学習効率を示した。
• 3イテレーション目までに、FB15kで76,000個以上の正例トリプルを発見し、精度は約79%で安定しており、埋め込みからの有効な監視が得られていることが示された。
• ComplExを推論モデルとして用いることで、WN18RRでH@10が55.7%に達し、関係タイプにわたる優れた一般化性能を示した。
• 異なるルールパターンは異なる影響を示す：FB15kでは逆関係および対称ルールが最も効果的であり、FB15k-237では合成および部分関係ルールが支配的であった。