[論文レビュー] Semantic Entity Enrichment by Leveraging Multilingual Descriptions for Link Prediction

Genet Asefa Gesese, Mehwish Alam+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Graph Neural Networks参考文献 17被引用数 4

ひとこと要約

本稿では、翻訳エラーに依存せずに、多言語エンティティ記述を活用することで、リンク予測のための知識グラフ埋め込み（KGE）モデルを強化する手法を提案する。多言語単語埋め込みを単言語埋め込みや機械翻訳の代わりに使用することで、DKRLなどのモデルに多言語記述を統合し、言語間の意味的類似性を捉える。これにより、エンティティ表現の質が向上し、リンク予測性能が向上する。

ABSTRACT

Most Knowledge Graphs (KGs) contain textual descriptions of entities in various natural languages. These descriptions of entities provide valuable information that may not be explicitly represented in the structured part of the KG. Based on this fact, some link prediction methods which make use of the information presented in the textual descriptions of entities have been proposed to learn representations of (monolingual) KGs. However, these methods use entity descriptions in only one language and ignore the fact that descriptions given in different languages may provide complementary information and thereby also additional semantics. In this position paper, the problem of effectively leveraging multilingual entity descriptions for the purpose of link prediction in KGs will be discussed along with potential solutions to the problem.

研究の動機と目的

• 既存のKGEモデルが単言語エンティティ記述のみを用いるため、多言語記述に含まれる補足的意味情報を無視するという限界を解消すること。
• Freebase、DBpedia、WikidataなどのKGEに多言語記述を組み込むことで、単言語アプローチを上回るリンク予測性能が得られるかを調査すること。
• 機械翻訳に依存せずに、神経ネットワークベースのKGEモデルに多言語記述を効果的に統合する手法を提案すること。
• 共有のベクトル空間に異なる言語の記述を符号化できる多言語単語埋め込み（例：MUSE、クロスリンガルBilbowa）の可能性を調査すること。
• 複数言語のエンティティ記述から得られるクロスリンガル意味信号を捉えることで、リンク予測の性能を向上させること。

提案手法

• 既存のKGEモデル（例：DKRL、Jointly）における単言語単語埋め込みを、多言語単語埋め込み（例：MUSE）に置き換えることで、多言語エンティティ記述を符号化する。
• DKRLのCNNエンコーダーを変更し、事前学習済みの多言語単語埋め込みを入力として受け入れ、言語間の意味的整合性を保持する。
• AGRUM（KDCoEより）などの多言語テキストエンコーダーを用い、複数言語の記述を同時に処理し、クロスリンガル整合性を活用する。
• 機械翻訳を避けるために、異なる言語間で意味的に類似した語を近接するベクトル表現にマッピングする多言語埋め込みを用いる。
• 各言語の記述をドキュメントとみなして、共有の埋め込み空間を用いて符号化することで、多言語記述をKGEモデルに統合する。
• アテンション機構や平均化技術を用いて、構造的三項集合と多言語テクスト記述の両方から同時に学習できるように、既存のKGEフレームワークを適応させる。

実験結果

リサーチクエスチョン

• RQ1 KGEにおける多言語エンティティ記述は、単言語記述にない補足的意味情報を提供するか？
• RQ2 多言語単語埋め込みをどのように効果的にKGEモデルで使用し、異なる言語のエンティティ記述を符号化できるか？
• RQ3 リンク予測タスクにおいて、多言語記述を単言語記述よりも使用した場合の性能向上はどの程度か？
• RQ4 多言語記述符号化において機械翻訳を避けることで、誤りの伝搬を低減し、KGEの品質を向上させられるか？
• RQ5 多言語記述は、リンク予測やその他のKGE補完タスクにおけるモデルの一般化性能とロバスト性にどのように影響を与えるか？

主な発見

• FreebaseなどのKGEにおける多言語エンティティ記述には、単言語記述に存在しない情報が含まれており、補足的意味を提供する。
• 機械翻訳ではなく多言語単語埋め込みを用いることで、符号化されたエンティティ記述の品質が向上し、誤りの伝搬が低減される。
• 多言語埋め込みを介した多言語記述の統合により、KGEモデルにおけるエンティティ表現が向上し、リンク予測性能が向上する。
• DKRL や Jointly などのモデルは、単語埋め込みを多言語に置き換えることで、言語間の意味的信号を捉えることができるようになり、性能が向上する。
• 本アプローチは、三項分類やエンティティ分類などの他のKGE補完タスクに対しても適用可能である。
• 今後の研究では、Wikidata や DBpedia における多言語記述の品質と性質を分析し、符号化戦略の最適化を図るべきである。