[論文レビュー] End-to-End Entity Linking and Disambiguation leveraging Word and Knowledge Graph Embeddings

Rostislav Nedelchev, Debanjan Chaudhuri+2 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 28被引用数 12

ひとこと要約

この論文では、単語埋め込みと知識グラフ（KG）埋め込みを統合することで、単純な質問応答のためのエンティティおよび関係リンクを一括して行うエンドツーエンドのニューラルネットワークモデルを提案する。KG埋め込みの類似度を活用する新規のゲーティング機構を導入し、明示的な後処理をほとんど行わずに、エンティティの曖昧除去を暗黙的に行う。特に、ハードおよびソフトな曖昧性の状況において、最先端のエンティティリンク性能を達成している。

ABSTRACT

Entity linking - connecting entity mentions in a natural language utterance to knowledge graph (KG) entities is a crucial step for question answering over KGs. It is often based on measuring the string similarity between the entity label and its mention in the question. The relation referred to in the question can help to disambiguate between entities with the same label. This can be misleading if an incorrect relation has been identified in the relation linking step. However, an incorrect relation may still be semantically similar to the relation in which the correct entity forms a triple within the KG; which could be captured by the similarity of their KG embeddings. Based on this idea, we propose the first end-to-end neural network approach that employs KG as well as word embeddings to perform joint relation and entity classification of simple questions while implicitly performing entity disambiguation with the help of a novel gating mechanism. An empirical evaluation shows that the proposed approach achieves a performance comparable to state-of-the-art entity linking while requiring less post-processing.

研究の動機と目的

• 知識グラフによる質問応答におけるエンティティの曖昧除去の課題に取り組むこと。特に、関係リンクが誤っているか曖昧な場合に有効であることを目的とする。
• KG埋め込みをエンドツーエンドのニューラルアーキテクチャに統合し、関係間の意味的類似度を捉えることで、エンティティリンク性能を向上させること。
• 文字列類似度や後処理への依存を減らすために、KG埋め込みからの文脈的・構造的情報を活用すること。
• KG埋め込み類似度を用いて関係コンテキストに基づきエンティティ予測を精緻化する微分可能なゲーティング機構を設計すること。
• 言語的信号が弱いか誤解を招く状況における、モデルの頑健性を評価すること。

提案手法

• モデルは、事前学習済みの単語埋め込みを用いて、自然言語の質問および候補となるエンティティ／関係を埋め込む二重エンコーダアーキテクチャを採用する。
• エンティティおよび関係のKG埋め込みを統合し、意味的関係および関係的コンテキストを捉える。
• 新規のゲーティング機構により、予測された関係と候補の関係のKG埋め込み間のコサイン類似度を用いて、エンティティおよび関係の予測スコアの重み付き組み合わせを計算する。
• 最終的なエンティティ予測は、質問埋め込みとゲーティングされたエンティティ表現との類似度スコアに基づく。これにより、暗黙的な曖昧除去が可能になる。
• 一般化性能の向上と曖昧なケースにおける候補再ランク付けを図るため、ソフトマージン損失を用いてエンドツーエンドで訓練する。
• アーキテクチャは解釈可能性を備えており、類似度スコアやアテンションメカニズムを介して、最終予測およびゲーティング意思決定を分析可能である。

実験結果

リサーチクエスチョン

• RQ1 関係リンクが誤っているか曖昧な状況下でも、KG埋め込みがエンドツーエンドモデルにおけるエンティティリンク性能を向上させられるか？
• RQ2 KG埋め込み類似度に基づく学習可能なゲーティング機構は、明示的な言語的信号が存在しない状況でもエンティティの曖昧除去にどの程度有効か？
• RQ3 単語埋め込みとKG埋め込みを統合的に扱うことで、モジュール型または文字列マッチングベースのアプローチに比べて、エンティティリンク精度が向上するか？
• RQ4 複数のエンティティが同一の名前を持つが、明確な言語的手がかりがないハードな曖昧性ケースにおいて、モデルはどの程度の性能を示すか？
• RQ5 レーベンシュタイン距離や文字列マッチングなどの後処理ステップに依存せずに、モデルは高い性能を維持できるか？

主な発見

• 文字列類似度マッチングなどの追加の後処理を必要とせず、最先端の手法と同等のエンティティリンク精度を達成している。
• 提案されたゲーティング機構により、平均で3.97%のエンティティリンク精度向上が達成され、特に関係予測が誤っているケースで顕著な改善が見られた。
• ソフト曖昧性ケース（全質問の21.1%）では、84.81%のケースで正しくエンティティを特定しており、そのうち9.78%の正解が、誤った関係予測にもかかわらずKG埋め込みに基づく曖昧除去によって可能になった。
• ハード曖昧性ケース（全質問の18.51%）では、正しいエンティティの選択に35.66%の精度を示し、言語的手がかりが欠如する状況でもKG埋め込みの価値が裏付けられた。
• 非曖昧ケースでは97.70%の正答率を示しており、強力なベースライン性能を示している。
• 誤差解析の結果、非曖昧ケースにおける440件の誤予測のうち165件が1ホップのKG接続の欠落に起因し、162件がエンティティスパン検出の失敗に起因していることが判明。これは改善の鍵となる分野である。