[論文レビュー] Rule-Guided Compositional Representation Learning on Knowledge Graphs

Guanglin Niu, Yongfei Zhang+5 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Graph Neural Networks参考文献 43被引用数 7

ひとこと要約

この論文は、論理規則とパスを統合することで表現学習の精度と説明可能性を向上させる、新たな知識グラフ埋め込みフレームワークであるルールおよびパスベース共同埋め込み（RPJE）を提案する。長さが異なるホーン規則を抽出し、それらを用いてパス表現を構成するとともに、信頼度スコアを用いて関係埋め込みを制約することで、RPJEはKG補完タスクで最先端の性能を達成し、FB15K-237においてベースラインを最大29.5%上回るMRRを達成した。

ABSTRACT

Representation learning on a knowledge graph (KG) is to embed entities and relations of a KG into low-dimensional continuous vector spaces. Early KG embedding methods only pay attention to structured information encoded in triples, which would cause limited performance due to the structure sparseness of KGs. Some recent attempts consider paths information to expand the structure of KGs but lack explainability in the process of obtaining the path representations. In this paper, we propose a novel Rule and Path-based Joint Embedding (RPJE) scheme, which takes full advantage of the explainability and accuracy of logic rules, the generalization of KG embedding as well as the supplementary semantic structure of paths. Specifically, logic rules of different lengths (the number of relations in rule body) in the form of Horn clauses are first mined from the KG and elaborately encoded for representation learning. Then, the rules of length 2 are applied to compose paths accurately while the rules of length 1 are explicitly employed to create semantic associations among relations and constrain relation embeddings. Besides, the confidence level of each rule is also considered in optimization to guarantee the availability of applying the rule to representation learning. Extensive experimental results illustrate that RPJE outperforms other state-of-the-art baselines on KG completion task, which also demonstrate the superiority of utilizing logic rules as well as paths for improving the accuracy and explainability of representation learning.

研究の動機と目的

• 単一のスパースな三元組構造に依存し、パスベース学習における説明可能性に欠ける既存のKG埋め込み手法の限界を解消すること。
• 神経的パス表現と記号的論理規則を統合し、KG埋め込みの精度と解釈可能性を向上させること。
• 異なる長さ（1および2）の規則を統合的に活用し、微分可能で信頼度に配慮した方法でパス構成と関係関連付けをガイドする統一フレームワークを構築すること。
• 実験的に、規則に従うパス構成と関係制約が、標準的なKG補完ベンチマークにおける性能を顕著に向上させることを検証すること。

提案手法

• 知識グラフから長さが異なる（1および2）ホーン節を抽出し、論理的依存関係と意味的制約を捉える。
• 長さ2の規則を符号化して、規則に基づくパス構成によりパス表現を構成し、ランダム初期化を置き換え、誤差伝搬を低減する。
• 長さ1の規則を用いて、潜在空間における関係埋め込みを明示的に制約し、関連する関係間の意味的一致性を強制する。
• 規則の信頼度スコアを最適化目的関数に組み込み、学習中に信頼性の高い論理的制約を優先する。
• 三元組予測、パス構成、規則に基づく関係制約を統合した共同損失関数を定式化し、エンドツーエンドの学習を可能にする。
• 規則活性化パスを用いて正確なエンティティ予測を生成する微分可能なパス構成メカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 異なる長さの論理規則を神経的KG埋め込みフレームワークに効果的に統合することで、精度と説明可能性の両方を向上させることができるか？
• RQ2 従来の数値的パス構成と比較して、規則に従うパス構成は表現品質と誤差伝搬の観点でどのように異なるか？
• RQ3 信頼度に配慮した規則制約は、潜在空間における関係埋め込みの整合性をどの程度向上させるか？
• RQ4 規則とパスの統合は、スパarsityや関係的複雑性が異なる多様なKGベンチマークにおいて一貫した性能向上をもたらすか？
• RQ5 パス構成と規則による関係制約の両方が、全体のKG補完性能を向上させるにあたり、それぞれが果たす相対的貢献はどの程度か？

主な発見

• FB15K-237において、RPJEはPTransEおよびKB-LRNと比較してMRRで29.5%向上し、Hits@10で26.8%向上した。
• WN18では、RPJEはMRR 0.946、Hits@10 95.1%を達成し、RUGE（MRR: 0.943、Hits@10: 94.4%）およびTransE（MRR: 0.495、Hits@10: 93.4%）を上回った。
• NELL-995では、RPJEはMRR 0.361、Hits@10 50.1%を達成し、次善のベースラインであるRUGE（MRR 0.318、Hits@10 43.3%）を顕著に上回った。
• アブレーションスタディの結果、パス構成および長さ2の規則を削除すると性能が著しく低下（MRR 0.816 → 0.453）し、それらの重要性が確認された。
• 長さ1の規則を削除しても性能が低下（MRR 0.816 → 0.812）したため、意味的制約による関係埋め込みの精緻化が有効であることが示された。
• ケーススタディでは、RPJEがアクティベートされた規則と信頼度スコアを用いて説明可能な予測を提供することを示した。例えば、「FilmLanguage」の予測には0.81の信頼度を持つパスが使用された。