[論文レビュー] DRUM: End-To-End Differentiable Rule Mining On Knowledge Graphs

Ali Sadeghian, Mohammadreza Armandpour+2 more|arXiv (Cornell University)|Oct 31, 2019

Advanced Graph Neural Networks被引用数 62

ひとこと要約

DRUMは、知識グラフ上の帰納的で解釈可能なリンク予測のために、一階論理規則とそれらの信頼度スコアを学習する完全に微分可能なモデルであり、ランク-Lのテンソル風表現と双方向RNNを用いて関係間で情報を共有します。

ABSTRACT

In this paper, we study the problem of learning probabilistic logical rules for inductive and interpretable link prediction. Despite the importance of inductive link prediction, most previous works focused on transductive link prediction and cannot manage previously unseen entities. Moreover, they are black-box models that are not easily explainable for humans. We propose DRUM, a scalable and differentiable approach for mining first-order logical rules from knowledge graphs which resolves these problems. We motivate our method by making a connection between learning confidence scores for each rule and low-rank tensor approximation. DRUM uses bidirectional RNNs to share useful information across the tasks of learning rules for different relations. We also empirically demonstrate the efficiency of DRUM over existing rule mining methods for inductive link prediction on a variety of benchmark datasets.

研究の動機と目的

• ブラックボックス embeddings ではなく、解釈可能で人間にも理解できるルールを用いて帰納的リンク予測に対処する。
• ルール構造と信頼度スコアを共同で学習する完全に微分可能なフレームワークを開発する。
• ルール信頼度推定を低ランクのテンソル近似に結びつけ、跨関係の知識共有を可能にする。
• ベンチマークデータセット上で従来の微分可能なルールマイニング手法よりも効率性と精度の向上を示す。

提案手法

• 規則を関係隣接行列の組み合わせとして表現し、ランク-Lのテンソル様展開を最適化して規則信頼度を学習する。
• Omega_H(a) の定式化と、それのランク-L拡張 Omega^L_H(a, L) を導入して規則信頼度をモデル化する。
• ヘッド関係Hに条件づけられた規則形成係数 a_{i,k} を生成するために双方向RNNを用い、ヘッド述語間の共有を可能にする。
• 固定長の規則を、計算を固定したまま短い規則を許容するために恒等関係 B_0 を用いて柔軟な長さへ置換する。
• ランク-1 の定式化には限界があることを示す定理1と、より高次の近似（定理2）が任意の規則集合を表現できることを示す。
• Open World Assumptionの下で正事実に対して勾配法（Adam）でエンドツーエンドに訓練し、ヘッド述語間で共有されたRNN群を用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの微分可能なルールマイニングは、知識グラフの規則構造と規則信頼度スコアの両方を学習できるか。
• RQ2 高次ランク（L>1）のテンソル風表現を許すことは、ランク-1アプローチより精度と解釈可能性を向上させるか。
• RQ3 ヘッド関係間で共有される双方向RNNは、クロス関係パターンを捉え、規則マイニングと帰納的推論を改善できるか。
• RQ4 DRUMは統計的関係学習と知識グラフ補完のベンチマークにおいて、最先端の微分可能な規則マイニング手法と比較してスケーラブルで競争力があるか。

主な発見

• DRUMは複数のデータセットでT=2およびT=3の規則長に対してNeural-LPを上回る。
• 高ランク（L=4）のDRUMはランク-1変種より顕著な改善をもたらし、テンソル様の規則信頼度モデリングの利点を示す。
• DRUMは WordNet (WN18RR) および Freebase (FB15K-237) の転導的リンク予測タスクで、複数の指標で最先端の結果を達成する。
• 帰納的リンク予測では、DRUMは Neural-LP に対して競争力があり、一般的に優れており、未知のエンティティに対する帰納能力を強調する。
• 人間評価は、DRUMが Neural-LP よりも順序づけが良く、より正確な規則を生成し、上位ランキングで論理的に誤った規則を減らすことを示した。