[論文レビュー] Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

Muhao Chen, Yingtao Tian+2 more|arXiv (Cornell University)|Nov 12, 2016

Advanced Graph Neural Networks参考文献 40被引用数 5

ひとこと要約

この論文では、翻訳に基づく手法を用いて言語間のエンティティと関係を整列させるように拡張した多言語知識グラフ埋め込みモデル、MTransEを提案する。軸補正、翻訳ベクトル、線形変換を介してクロスリンガル遷移を学習することで、MTransEはクロスリンガルエンティティマッチングおよび三項組整列において最先端の性能を達成するとともに、単言語知識表現品質を維持する。

ABSTRACT

Many recent works have demonstrated the benefits of knowledge graph embeddings in completing monolingual knowledge graphs. Inasmuch as related knowledge bases are built in several different languages, achieving cross-lingual knowledge alignment will help people in constructing a coherent knowledge base, and assist machines in dealing with different expressions of entity relationships across diverse human languages. Unfortunately, achieving this highly desirable crosslingual alignment by human labor is very costly and errorprone. Thus, we propose MTransE, a translation-based model for multilingual knowledge graph embeddings, to provide a simple and automated solution. By encoding entities and relations of each language in a separated embedding space, MTransE provides transitions for each embedding vector to its cross-lingual counterparts in other spaces, while preserving the functionalities of monolingual embeddings. We deploy three different techniques to represent cross-lingual transitions, namely axis calibration, translation vectors, and linear transformations, and derive five variants for MTransE using different loss functions. Our models can be trained on partially aligned graphs, where just a small portion of triples are aligned with their cross-lingual counterparts. The experiments on cross-lingual entity matching and triple-wise alignment verification show promising results, with some variants consistently outperforming others on different tasks. We also explore how MTransE preserves the key properties of its monolingual counterpart TransE.

研究の動機と目的

• 手作業によるクロスリンガル知識整列は費用がかかりやすく、誤りが生じやすいという課題に対処する。
• エンティティと関係の埋め込み間のクロスリンガル遷移を学習することで、TransEのような単言語知識グラフ埋め込みモデルを多言語データに対応させる。
• 軸補正、翻訳ベクトル、線形変換の3つのクロスリンガル遷移技術の効果を整列タスク上で評価する。
• 多言語モデルが単言語モデルの主要な性質（TransE）を単言語タスクで維持しているかどうかを保証する。
• わずかに一部の三項組が整列している知識グラフでの学習の可能性を検討する。

提案手法

• MTransEは各言語ごとに別々の埋め込み空間を用い、TransEに基づく知識モデルにより単言語知識グラフ構造を保持する。
• エンティティと関係の埋め込み間の言語間遷移を学習する整列モデルを導入する。
• クロスリンガル遷移を表現するための3つの手法を用いる：軸補正、翻訳ベクトル、線形変換。
• これらの手法と異なる損失関数を組み合わせることで、5つのMTransEの変種を導出する。これにより、部分的に整列したグラフ上でエンドツーエンド学習が可能になる。
• 単言語三項組損失とクロスリンガル整列損失の組み合わせを用いてモデルを訓練し、知識と整列のコンponentsを同時に最適化する。
• 整列済み三項組の小さな集合を用いて整列モデルを訓練することで、ゼロショットまたはフェイントショットのクロスリンガル転送が可能になる。

実験結果

リサーチクエスチョン

• RQ1 翻訳ベースのモデルは、多言語知識グラフ埋め込み間のクロスリンガル遷移を効果的に学習できるか？
• RQ2 軸補正、翻訳ベクトル、線形変換のうち、どの3つのクロスリンガル遷移技術がクロスリンガル整列タスクで最高のパフォーマンスを示すか？
• RQ3 多言語モデルは、単言語知識補完タスクにおいて、その単言語対応モデル（TransE）のパフォーマンスをどの程度維持しているか？
• RQ4 言語間で三項組のわずかな割合しか整列していない場合、モデルのパフォーマンスはどのようになるか？
• RQ5 エンティティのみの変換ではなく、関係固有の変換を含めることで、整列パフォーマンスが向上するか？

主な発見

• 線形変換ベースのMTransE（Var 4）は、クロスリンガルエンティティマッチングおよび三項組整列検証において、常に他の変種を上回り、あらゆる設定で最高の正確度を達成する。
• 関係固有の変換を含むVar 5は、Var 4とほぼ同等の性能（0.85%以内の差）を示し、エンティティレベルの変換のみで効果的な整列が可能であることを示している。
• 軸補正の変種（Var 2）は著しく性能が低く、最良の変種と比較して4.12%〜8.44%の低下を示しており、クロスリンガル整列にはあまり効果的でないことが示唆される。
• 線形変換ベースのMTransEは、負例テスト（英語-フランス語、WK3l-15k）で98.57%の正確度を達成し、OTおよび他のベースラインを上回る。
• 単言語タスク（末尾予測、関係予測）においても、MTransEの変種（例：Var 1、Var 4、Var 5）はTransEと同等またはそれを上回る性能を示しており、整列が単言語表現品質を損なわないことを示している。
• わずか15%のエンティティしか整列していない場合でも、モデルは強固なパフォーマンスを維持しており、学習データにおける部分的整列に対しても耐性があることが示された。