[論文レビュー] AutoETER: Automated Entity Type Representation for Knowledge Graph Embedding

Guanglin Niu, Bo Li+3 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Graph Neural Networks参考文献 32被引用数 6

ひとこと要約

AutoETERは、共有のベクトル空間内での翻訳操作としてのタイプ遷移をモデル化することにより、関係に依存するエンティティタイプ表現を自動で学習する、画期的な知識グラフ埋め込みフレームワークを提案する。4つのデータセットにおけるリンク予測において最先端のモデルを上回り、対称性、逆転、合成、および複雑な1-N、N-1、N-N関係を、明示的なタイプアノテーションを必要とせずにエンドツーエンドのタイプ埋め込み学習によって効果的に捉えることができる。

ABSTRACT

Recent advances in Knowledge Graph Embedding (KGE) allow for representing entities and relations in continuous vector spaces. Some traditional KGE models leveraging additional type information can improve the representation of entities which however totally rely on the explicit types or neglect the diverse type representations specific to various relations. Besides, none of the existing methods is capable of inferring all the relation patterns of symmetry, inversion and composition as well as the complex properties of 1-N, N-1 and N-N relations, simultaneously. To explore the type information for any KG, we develop a novel KGE framework with Automated Entity TypE Representation (AutoETER), which learns the latent type embedding of each entity by regarding each relation as a translation operation between the types of two entities with a relation-aware projection mechanism. Particularly, our designed automated type representation learning mechanism is a pluggable module which can be easily incorporated with any KGE model. Besides, our approach could model and infer all the relation patterns and complex relations. Experiments on four datasets demonstrate the superior performance of our model compared to state-of-the-art baselines on link prediction tasks, and the visualization of type clustering provides clearly the explanation of type embeddings and verifies the effectiveness of our model.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが明示的なエンティティタイプに依存している、または関係に応じた多様なタイプ表現をモデル化できないという限界を解消すること。
• 対称性、逆転、合成といった主要な関係パターンに加え、1-N、N-1、N-N関係を統合的にモデル化できるフレームワークの開発。
• 明示的なタイプアノテーションを必要とせず、エンティティの潜在的タイプ表現を自動で学習することで、多様な知識グラフにおける一般化性能の向上。
• 関係固有のタイプ埋め込みを統合することで、関係の意味的文脈を反映させ、リンク予測の性能を向上させること。

提案手法

• タイプ遷移を翻訳操作としてモデル化する関係に依存するプロジェクション機構を導入：埋め込み空間内での type_head + relation = type_tail。
• エンティティ固有のトリプル用とタイプ固有のトリプル用の2つの異なるエンコーダを採用し、エンティティ、関係、タイプ埋め込みの共同学習を可能に。
• タイプ類似度制約を適用してタイプ埋め込みを正則化し、意味的に類似したタイプが埋め込み空間内で密にクラスタリングされるように促進。
• プラグイン可能なモジュール設計を採用し、任意の既存のKGEモデルに統合可能で、学習されたタイプ表現によって性能を向上可能。
• 低次元のタイプ埋め込みでエンティティの一般的な特徴を捉え、高次元のエンティティ埋め込みで個々の特徴を符号化。
• t-SNEとK-meansを用いてタイプ埋め込みの可視化を行い、意味的類似性に基づく意味のあるクラスタリングが実現されていることを示した。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みモデルは、明示的なタイプアノテーションに依存せずに、多様で関係固有のタイプ表現を学習できるか？
• RQ2 提案されたフレームワークは、対称性、逆転、合成に加え、1-N、N-1、N-N関係を含む主要な関係パターンをモデル化・推論できるか？
• RQ3 明示的なタイプやタイプ情報なしのモデルと比較して、自動で学習されたタイプ表現はリンク予測の性能を向上させるか？
• RQ4 関係に依存するプロジェクション機構は、エンティティとそのタイプ間の意味的関係を効果的に捉えているか？

主な発見

• AutoETERは4つのベンチマークデータセットにおいてリンク予測で最先端の性能を達成し、RotatEやQuatEを上回った。
• FB15K-237ではMRRが0.344、Hits@10が0.538を達成し、優れた一般化性能と頑健性を示した。
• アブレーションスタディの結果、タイプ表現モジュールとタイプ類似度制約の両方が性能向上に寄与しており、タイプ表現を削除するとMRRが0.340に低下した。
• 可視化結果から、タイプ埋め込みは意味的に意味のあるクラスタリングを示しており、例えば映画関連のエンティティが一団に集まっていることから、学習された表現の意味的整合性が裏付けられた。
• TKRL や TypeComplex といったタイプ埋め込みモデルよりも AutoETER が優れた性能を示したことから、自動で学習された関係に依存するタイプ埋め込みは、静的または明示的に提供されたタイプよりも効果的であることが示された。
• モデルは複雑な関係を効果的に捉えており、特にFB15Kにおける1-N、N-1、N-N関係において、ヘッドエンティティとテイルエンティティの予測で優れた性能を発揮した。