[論文レビュー] Multilingual Knowledge Graph Completion with Joint Relation and Entity Alignment

Harkanwar Singh, Prachi Jain+2 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用数 9

ひとこと要約

本稿では、共有埋め込みと関係の主語・目的語のシグニATUREバッグにおける新しい非対称重複測度を活用することで、同時に多言語知識グラフ補完（KGC）、エンティティアライメント（EA）、関係アライメント（RA）を実行する統合学習フレームワーク、AlignKGCを提案する。多言語DBPediaデータを用いた5言語の実験で、KGCにおいて10–32 MRRの向上を達成し、強力なベースラインに対してEAおよびRAでも顕著な性能向上を示した。これは、3つのタスクを同時に最適化することで、多言語KGCの性能向上が可能であることを示している。

ABSTRACT

Knowledge Graph Completion (KGC) predicts missing facts in an incomplete Knowledge Graph. Almost all of existing KGC research is applicable to only one KG at a time, and in one language only. However, different language speakers may maintain separate KGs in their language and no individual KG is expected to be complete. Moreover, common entities or relations in these KGs have different surface forms and IDs, leading to ID proliferation. Entity alignment (EA) and relation alignment (RA) tasks resolve this by recognizing pairs of entity (relation) IDs in different KGs that represent the same entity (relation). This can further help prediction of missing facts, since knowledge from one KG is likely to benefit completion of another. High confidence predictions may also add valuable information for the alignment tasks. In response, we study the novel task of jointly training multilingual KGC, relation alignment and entity alignment models. We present ALIGNKGC, which uses some seed alignments to jointly optimize all three of KGC, EA and RA losses. A key component of ALIGNKGC is an embedding based soft notion of asymmetric overlap defined on the (subject, object) set signatures of relations this aids in better predicting relations that are equivalent to or implied by other relations. Extensive experiments with DBPedia in five languages establish the benefits of joint training for all tasks, achieving 10-32 MRR improvements of ALIGNKGC over a strong state-of-the-art single-KGC system completion model over each monolingual KG . Further, ALIGNKGC achieves reasonable gains in EA and RA tasks over a vanilla completion model over a KG that combines all facts without alignment, underscoring the value of joint training for these tasks.

研究の動機と目的

• 多言語KGCの知識を活用できない単言語・単一KGCシステムの限界を解消し、多言語KGCにおけるIDの増加問題を軽減すること。
• 知識グラフ補完（KGC）、エンティティアライメント（EA）、関係アライメント（RA）を統合的に最適化し、これらのタスク間の相乗効果を活用すること。
• 複数言語からのアライメント済みエンティティおよび関係をインダクティブバイアスとして用いることで、KGCの性能を向上させること。
• 関係の同等性および含意関係を、学習可能な埋め込みベースの非対称的重複測度として捉えるための新規手法を導入すること。
• KGC、EA、RAの3つのタスクを同時に最適化することで、個別に処理する場合と比較して性能が向上することを実証すること。

提案手法

• AlignKGCは、エンティティおよび関係埋め込みの共有エンコーダを用いて、KGC、EA、RAの損失を統合的に最適化するマルチタスク学習フレームワークを採用する。
• 各関係を（主語, 目的語）埋め込みペアのバッグとして表現し、事実間の構造的パターンを捉えるシグニTUREを形成する。
• 関係シグニTUREの比較に、新規のソフト非対称的重複測度を導入し、言語間での同等または含意関係の関係を検出可能にする。
• KGC（MRRまたはhits@Kを介して）、EA（埋め込み類似度を介して）、RA（シグニTURE重複を介して）を統合的に最適化する微分可能な損失関数を採用する。
• 初期アライメントをシードアライメントとして活用し、エンドツーエンドのバックプロパゲーションにより、すべてのコンponentを同時に最適化する。
• フレームワークは5言語のDBPediaスライスを用いて評価され、アブレーションスタディでは、異なるシグニTUREマッチング戦略（ジャカード、非対称、ソフト非対称）の比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 多言語KGC、エンティティアライメント、関係アライメントの統合学習は、個別学習と比較して、3つのタスクすべての性能向上をもたらすか？
• RQ2 関係シグニTUREバッグに対する学習可能な非対称的重複測度は、言語間の同等または含意関係を検出するのにどの程度有効か？
• RQ3 1つのKGからの高信頼度のKGC予測は、他のKGにおけるアライメント品質をどの程度向上させるか？
• RQ4 （主語, 目的語）シグニTUREバッグからの構造的情報を組み込むことで、名前や埋め込みのみを用いる場合と比較して、関係アライメントの性能が向上するか？
• RQ5 異なるシグニTUREマッチング戦略（例：ジャカード対比ソフト非対称）は、KGC、EA、RAの最終的性能にどのような影響を及ぼすか？

主な発見

• AlignKGCは、5言語すべてにおいて強力な単言語KGCベースラインに対して10–32 MRRの向上を達成し、多言語間の知識伝達によりKGCの精度が顕著に向上することを示した。
• ソフト非対称的シグニTUREマッチングバージョンが最も高いKGC性能を達成し、5言語におけるMRRスコアは82.9、99.1、89.9、83.2、98.6、89.8、83.1、99.1、90.0、86.0、99.7、91.8、83.3、99.4、90.3を記録した。
• エンティティアライメントでは、AlignKGC（ソフト非対称）がHITS@1で45.3、HITS@10で61.9を達成し、KGCunionベースライン（HITS@1で23.5、HITS@10で42.8）を20ポイント以上上回った。
• 関係アライメントでは、ソフト非対称バージョンが500件以上の出現回数を持つ関係でHITS@1が68.8を達成し、ベースラインから26ポイントの向上を示した。これは頻出関係において優れた性能を発揮していることを示している。
• 統合学習フレームワークは、頻出関係のアライメント性能をより顕著に向上させた。これは、頻出関係における構造的パターンが、より効果的に捉えられ、アライメントされていることを示している。
• KGC損失のみを用いたモデル（例：ジャカード、非対称ジャカード）でさえも、EAおよびRAの性能を顕著に向上させた。これは、KGC単体でもアライメントを支援可能であるが、統合最適化によりさらなる向上が得られることを示している。