[論文レビュー] Jointly Learning Entity and Relation Representations for Entity Alignment

Yuting Wu, Xiao Liu+3 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Graph Neural Networks参考文献 27被引用数 9

ひとこと要約

本稿では、事前対応関係が不要なクロスリンガル知識グラフアライメントのための、エンティティおよび関係表現を共同で学習する新規なグラフニューラルネットワークフレームワークHGCN-JRを提案する。関係埋め込みをエンティティ表現から近似し、ゲーテッドGCNを用いて反復的に共同表現を精錬することで、3つの実世界データセットにおいて最先端の性能を達成し、従来手法と比べてエンティティおよび関係アライメントの両面で顕著に優れている。

ABSTRACT

Entity alignment is a viable means for integrating heterogeneous knowledge among different knowledge graphs (KGs). Recent developments in the field often take an embedding-based approach to model the structural information of KGs so that entity alignment can be easily performed in the embedding space. However, most existing works do not explicitly utilize useful relation representations to assist in entity alignment, which, as we will show in the paper, is a simple yet effective way for improving entity alignment. This paper presents a novel joint learning framework for entity alignment. At the core of our approach is a Graph Convolutional Network (GCN) based framework for learning both entity and relation representations. Rather than relying on pre-aligned relation seeds to learn relation representations, we first approximate them using entity embeddings learned by the GCN. We then incorporate the relation approximation into entities to iteratively learn better representations for both. Experiments performed on three real-world cross-lingual datasets show that our approach substantially outperforms state-of-the-art entity alignment methods.

研究の動機と目的

• 既存のエンティティアライメント手法が、その潜在的価値にもかかわらず関係表現を十分に活用していないという限界を是正すること。
• 事前対応関係シードが不要な高品質な関係表現を学習できるスケーラブルなフレームワークを開発すること。
• 構造的および関係的情報を統合した共同エンティティ表現の反復的精錬を通じて、エンティティおよび関係アライメントを共同最適化すること。
• 異種知識グラフにおけるアライメント性能を向上させつつ、シードアライメントの構築にかかる人的作業を削減すること。

提案手法

• フレームワークは、異種知識グラフからの初期エンティティ表現を学習するためにゲーテッドグラフ畳み込みネットワーク（GCN）を採用する。
• 関係表現はGCNからのエンティティ埋め込みを用いて近似され、事前対応関係の必要性を回避する。
• 隣接エンティティ情報と近似された関係表現を組み合わせることで、構造的文脈を豊かにする共同エンティティ表現を構築する。
• 反復的な学習プロセスにより、エンティティおよび関係表現が精錬され、相互に改善する共同最適化が可能になる。
• モデルはゲーテッドメカニズムを用いて、異なる関係および近隣ノードからの寄与を動的に重み付けし、表現品質を向上させる。
• エンティティおよび関係をクロスリンガルKG間でアライメントするため、対照的損失を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 異種知識グラフにおけるエンティティアライメント性能を向上させるために、エンティティおよび関係表現の共同学習は有効か？
• RQ2 事前対応関係が不要な状態で、エンティティ埋め込みから関係表現を効果的に近似できるか？
• RQ3 エンティティ表現に関係情報を統合することで、独立して学習する場合と比較してより良いアライメント結果が得られるか？
• RQ4 異なる数のシードエンティティアライメントに対して、モデルの頑健性はどの程度か？
• RQ5 共同学習フレームワークは、初期シードアライメントを越えて、新たな一致するエンティティおよび関係ペアを発見できるか？

主な発見

• HGCN-JRは、3つの実世界のクロスリンガルデータセットすべてで最先端の性能を達成し、エンティティおよび関係アライメントの両面で従来手法を上回っている。
• DBP15K FR-ENでは、10%のシードエンティティアライメントでのHits@1が86.40%に達し、40%のシードデータを用いたBootEAと比較して17.84%の向上を示した。
• モデルは低比率のシードアライメントに対しても頑健であり、訓練データの異なる割合において一貫した性能を維持している。
• 共同モデリングにより、関係アライメントが副次的に向上し、エンティティアライメントのみを最適化するモデルと比較して、HGCN-JRは優れた結果を示している。
• 事例研究では、共同表現の反復的精錬を通じて、(v_FR, v_EN) や (r_1, r_4) といった新たな一致するエンティティおよび関係ペアが効果的に発見された。
• フレームワークは、分離したエンティティまたは関係モデリングよりも共同表現が有効であることを示しており、『全体は部分の合計より大きい』という原則を裏付けた。