[論文レビュー] Co-training Embeddings of Knowledge Graphs and Entity Descriptions for Cross-lingual Entity Alignment

Muhao Chen, Yingtao Tian+3 more|arXiv (Cornell University)|Jun 18, 2018

Topic Modeling被引用数 11

ひとこと要約

本稿では、多言語知識グラフ埋め込みとエンティティ記述埋め込みを同時に学習することで、クロスリンガルエンティティアライメントを向上させるKDCoEという共同学習フレームワークを提案する。弱い相互リンクを持つ三か国語のウィキペディアデータセット上で、両モデルが自信のある予測を交互に改善することで、先行手法を著しく上回り、エンティティアライメント、ゼロショットアライメント、クロスリンガル知識グラフ補完の分野で最先端の結果を達成した。

ABSTRACT

Multilingual knowledge graph (KG) embeddings provide latent semantic representations of entities and structured knowledge with cross-lingual inferences, which benefit various knowledge-driven cross-lingual NLP tasks. However, precisely learning such cross-lingual inferences is usually hindered by the low coverage of entity alignment in many KGs. Since many multilingual KGs also provide literal descriptions of entities, in this paper, we introduce an embedding-based approach which leverages a weakly aligned multilingual KG for semi-supervised cross-lingual learning using entity descriptions. Our approach performs co-training of two embedding models, i.e. a multilingual KG embedding model and a multilingual literal description embedding model. The models are trained on a large Wikipedia-based trilingual dataset where most entity alignment is unknown to training. Experimental results show that the performance of the proposed approach on the entity alignment task improves at each iteration of co-training, and eventually reaches a stage at which it significantly surpasses previous approaches. We also show that our approach has promising abilities for zero-shot entity alignment, and cross-lingual KG completion.

研究の動機と目的

• 多言語知識グラフにおける疎な相互言語リンク（ILLs）の課題に対処すること。これは、クロスリンガル推論の品質を制限する要因である。
• ILLsが限られている状況で、多言語エンティティ記述を代替的教師信号として活用し、クロスリンガルアライメントを強化すること。
• 相互教師信号を用いて、KG埋め込みと記述埋め込みを交互に改善する半教師あり共同学習フレームワークを開発すること。
• 共有される多言語表現を用いて、ゼロショットクロスリンガルエンティティアライメントを可能とし、クロスリンガル知識グラフ補完を改善すること。
• 構造的知識とテクスト的記述を組み合わせることで、強固な多言語表現学習を実現する有効性を示すこと。

提案手法

• 翻訳モデルを用いた線形変換によるクロスリンガルアライメントを実現する多言語KG埋め込みモデルを学習する。
• 多言語単語埋め込みを用いてエンティティ記述を符号化する、注意型ゲート付き再帰ユニット（AGRU）を用いた記述埋め込みモデルを学習する。
• 両モデルから最も信頼性の高い予測されたILLsを交互に選別し、相手モデルのための仮ラベルとして使用することで共同学習を実行する。
• 両モodal（KG構造と記述）におけるクロスリンガルエンティティペアの埋め込みを一致させる、共同最適化目的関数を用いる。
• 知識グラフ補完における推論を、英語を仲介言語として用いることで、リソースが乏しい言語に対しても可能にする。
• 多言語単語埋め込み（例：多言語Skip-gramから得られるもの）を活用し、記述エンコーダーにおける多言語的意味的一致を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限定的なILLsしか利用できない状況下で、KG埋め込みとエンティティ記述埋め込みの共同学習が、クロスリンガルエンティティアライメントの性能向上に寄与するか？
• RQ2 推論時に真のアライメントが一切使用されないゼロショットアライメントにおいて、提案手法はどの程度有効か？
• RQ3 KGと記述埋め込みの共同学習が、リソースが乏しい言語環境下でのクロスリンガル知識グラフ補完をどのように向上させるか？
• RQ4 自己注意機構と多言語単語埋め込みは、エンティティ記述におけるクロスリンガル意味的類似性のモデリングにどの程度寄与するか？
• RQ5 共同学習プロセスは複数のイテレーションにわたり一貫した性能向上をもたらすか？また、既存の最先端モデルを上回るか？

主な発見

• KDCoEは、エンティティアライメントタスクで先行手法を著しく上回り、ゼロショット設定下でHit@1が4.04%上昇、Hit@10が11.97%上昇した。
• AGRUベースの記述エンコーダーは、単層モデル、CNN、GRUベースラインを上回り、注意機構と多言語埋め込みの重要性を示した。
• 共同学習により、イテレーションごとに一貫した性能向上が得られ、2つのモデル間の安定した収束と相互改善が確認された。
• KDCoEの単言語予測バージョンはTransEと同等の性能を示し、単言語KG構造の質を保っていることを裏付けた。
• 英語を仲介言語として用いたクロスリンガル予測は、単言語予測よりも著しく優れた結果をもたらし、言語間知識移行の可能性を実証した。
• 本手法は、効果的なクロスリンガル知識グラフ補完を可能とし、将来的に複数の言語ブリッジを用いたマルチリンガルアンサンブル手法の可能性を示唆した。