[論文レビュー] Logic Rules Powered Knowledge Graph Embedding

Pengwei Wang, Dejing Dou+3 more|arXiv (Cornell University)|Mar 9, 2019

Advanced Graph Neural Networks参考文献 30被引用数 18

ひとこと要約

この論文では、推論、推移性、反対称性などの論理規則を自動で抽出し、TransEのような翻訳ベースのモデルに統合する論理規則強化型知識グラフ埋め込み手法を提案する。三元組と規則の両方を一階論理で表現し、グローバル損失を共同最適化することで、特にフィルタード Hits@1 において、WN18で最大700%の向上を達成する。

ABSTRACT

Large scale knowledge graph embedding has attracted much attention from both academia and industry in the field of Artificial Intelligence. However, most existing methods concentrate solely on fact triples contained in the given knowledge graph. Inspired by the fact that logic rules can provide a flexible and declarative language for expressing rich background knowledge, it is natural to integrate logic rules into knowledge graph embedding, to transfer human knowledge to entity and relation embedding, and strengthen the learning process. In this paper, we propose a novel logic rule-enhanced method which can be easily integrated with any translation based knowledge graph embedding model, such as TransE . We first introduce a method to automatically mine the logic rules and corresponding confidences from the triples. And then, to put both triples and mined logic rules within the same semantic space, all triples in the knowledge graph are represented as first-order logic. Finally, we define several operations on the first-order logic and minimize a global loss over both of the mined logic rules and the transformed first-order logics. We conduct extensive experiments for link prediction and triple classification on three datasets: WN18, FB166, and FB15K. Experiments show that the rule-enhanced method can significantly improve the performance of several baselines. The highlight of our model is that the filtered Hits@1, which is a pivotal evaluation in the knowledge inference task, has a significant improvement (up to 700% improvement).

研究の動機と目的

• 既存の知識グラフ埋め込み手法が事実の三元組にのみ依存し、構造的背景知識を無視するという限界を解消すること。
• 統一されたベクトル空間内での知識グラフ三元組と論理規則の共同学習を可能にすること。
• 一階論理表現と一貫した代数的演算を用いることで、規則符号化における1対多対応問題を克服すること。
• 規則強化学習を通じて、リンク予測と三元組分類のパフォーマンスを向上させること。
• 任意の翻訳ベースの知識グラフ埋め込みモデルと互換性がある、即挿し可能なフレームワークを提供すること。

提案手法

• パターンベースの規則抽出を用いて、知識グラフ三元組から論理規則（推論、推移性、反対称性）とその信頼度を自動で抽出する。
• すべての三元組と規則を統一された一階論理形式で表現する。たとえば、三元組 (h, r, t) に対して r(h) ⇒ t のような形式を採用する。
• 論理記号（例：含意、論理積）に対して一貫したベクトル空間演算を定義し、規則と三元組の間での代数的相互作用を可能にする。
• 埋め込み空間内で規則内の要素が直接相互作用できる一般化された相互作用演算を導入する。
• 埋め込みされた三元組と抽出された論理規則の両方を同時に最適化するグローバル損失関数を定式化する。
• エンドツーエンド学習により、この規則強化損失を任意の翻訳ベースのモデル（例：TransE, TransH, TransR）に統合する。

実験結果

リサーチクエスチョン

• RQ1 自動で抽出された論理規則は、知識グラフ埋め込みモデルのパフォーマンスを顕著に向上させることができるか？
• RQ2 論理規則と知識グラフ三元組を、一貫した代数的演算を持つ共有意味的空間に埋め込む方法は何か？
• RQ3 論理規則の統合により、リンク予測と三元組分類のタスクで測定可能な向上が達成されるか？
• RQ4 特に知識推論タスクにおいて、提案手法は重要なフィルタード Hits@1 指標で顕著な向上を達成できるか？
• RQ5 TransE, TransH, TransR などの多様な翻訳ベースモデルに適用した場合、規則強化手法は互換性があり、効果的か？

主な発見

• 規則強化手法は、評価されたすべてのデータセット（WN18, FB166, FB15K）においてリンク予測パフォーマンスを顕著に向上させる。
• WN18では、TransR(Rule)がフィルタード Hits@1 0.9926 を達成し、ベースラインの TransR(Per) モデル比で700%の向上を記録した。
• TransE(Rule)はFB166でフィルタード Hits@1 0.9490 を達成し、TransE(Per) よりも絶対値で4.2%の向上を示した。
• TransH(Rule)はFB166でフィルタード Hits@1 0.9505 を達成し、ベースラインモデルよりも一貫した向上を示した。
• TransE, TransH, TransR など複数のモデルにおいても、本手法は強力な改善効果を示しており、広範な互換性と有効性を示している。
• 論理規則の統合により、一般化性能が向上し、特に知識推論タスクにおいて強い誘導的バイアスが得られる。