[論文レビュー] Joint Semantics and Data-Driven Path Representation for Knowledge Graph Inference

Guanglin Niu, Bo Li+5 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Graph Neural Networks参考文献 34被引用数 4

ひとこと要約

本稿では、説明可能な Horn 規則に基づく経路合成とエンティティコンバーターを組み合わせることで、エンティティと関係の間の不均一性を低減する、知識グラフ推論のための統合的意味論的・データ駆動型経路表現モデルを提案する。意味的経路圧縮とアテンション型表現学習を統合することで、リンク予測および経路クエリへの回答において最先端の性能を達成し、NELL-995 で Hits@1 が 0.987 を記録した。

ABSTRACT

Inference on a large-scale knowledge graph (KG) is of great importance for KG applications like question answering. The path-based reasoning models can leverage much information over paths other than pure triples in the KG, which face several challenges: all the existing path-based methods are data-driven, lacking explainability for path representation. Besides, some methods either consider only relational paths or ignore the heterogeneity between entities and relations both contained in paths, which cannot capture the rich semantics of paths well. To address the above challenges, in this work, we propose a novel joint semantics and data-driven path representation that balances explainability and generalization in the framework of KG embedding. More specifically, we inject horn rules to obtain the condensed paths by the transparent and explainable path composition procedure. The entity converter is designed to transform the entities along paths into the representations in the semantic level similar to relations for reducing the heterogeneity between entities and relations, in which the KGs both with and without type information are considered. Our proposed model is evaluated on two classes of tasks: link prediction and path query answering task. The experimental results show that it has a significant performance gain over several different state-of-the-art baselines.

研究の動機と目的

• データ駆動型経路ベースの知識グラフ推論モデルにおける説明可能性の欠如に対処する。
• 既存手法が経路表現においてエンティティと関係を非対称的に扱うという制限を克服する。
• 知識グラフにおける意味論とデータ駆動型パターンを統合的にモデル化することで、経路表現を向上させる。
• Horn 規則を用いた透明なルールベースの経路合成により、人間が解釈可能な推論を可能にする。
• 統一されたエンティティコンバージョン戦略により、エンティティタイプ情報の有無に関わらず知識グラフをサポートする。

提案手法

• 透明な経路合成を通じて、Horn 規則を用いて経路を圧縮され、説明可能な関係に合成する。
• エンティティを関係に類似した意味的表現にマッピングするエンティティコンバーターを設計し、不均一性を低減する。
• タイプ情報のある KG にはアテンション型エンティティ→タイプ変換モジュールを、ない場合はプロジェクションモジュールを実装する。
• エンティティと関係のシーケンスから経路表現を学ぶために、双方向経路エンコーダを採用する。
• エンティティペア間の複数の経路表現の統合学習により、埋め込み品質を向上させる。
• 変換距離と意味的類似性の両方を組み込んだマージンベースの損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 意味論的およびデータ駆動型の経路表現を統合することで、知識グラフ推論における説明可能性と性能が向上するか？
• RQ2 経路にエンティティと関係の両方を組み込むことで、関係のみのモデルと比較して経路表現品質がどのように向上するか？
• RQ3 Horn 規則が透明でルールベースの経路合成をどれほど正確な推論に可能にするか？
• RQ4 提案されたエンティティコンバーターは、経路表現におけるエンティティと関係の不均一性をどれほど効果的に低減できるか？
• RQ5 エンティティタイプのアノテーションの有無に関わらず、モデルは知識グラフに一般化できるか？

主な発見

• 本モデルは、NELL-995 データセットにおける経路クエリへの回答で Hits@1 が 0.987 を達成し、正しい関係を 98.7% の精度で予測している。
• 本モデルは、リンク予測および経路クエリへの回答の両タスクで、PTransE や TransE などの SOTA ベースラインを一貫して上回っている。
• Horn 規則に基づく経路合成により、人間が解釈可能な推論が可能であり、一例として信頼度 1 の規則を用いて正しい関係が推論された。
• エンティティコンバーター戦略は、エンティティと関係の間の不均一性を効果的に低減し、経路表現学習を向上させた。
• エンティティペア間の複数の経路表現の統合により、より強固で正確な埋め込みが得られた。
• 本モデルは優れた一般化性能を示し、エンティティタイプ情報の有無に関わらず良好な性能を発揮した。