[論文レビュー] Entity-aware ELMo: Learning Contextual Entity Representation for Entity Disambiguation

Hamed Shahbazi, Xiaoli Z. Fern+3 more|arXiv (Cornell University)|Aug 14, 2019

Topic Modeling参考文献 19被引用数 19

ひとこと要約

本稿では、文脈符号化中に単語の代わりに接地されたエンティティを予測するように言語モデルを訓練することで、ELMoを拡張したエンティティに配慮したコンテキスト表現モデル、Entity-aware ELMo (E-ELMo) を提案する。双方向RNNアーキテクチャにエンティティに配慮した監視を統合することで、E-ELMoはより豊かな、文脈に依存するエンティティ表現を学習し、単純なローカルのアンビグアイティ解消モデルがAIDAおよびTACベンチマークで最先端のグローバルモデルを上回ることを可能にする。YAGOを用いたAIDA test-bにおいて、マイクロ平均精度で0.5%の向上を達成した。

ABSTRACT

We present a new local entity disambiguation system. The key to our system is a novel approach for learning entity representations. In our approach we learn an entity aware extension of Embedding for Language Model (ELMo) which we call Entity-ELMo (E-ELMo). Given a paragraph containing one or more named entity mentions, each mention is first defined as a function of the entire paragraph (including other mentions), then they predict the referent entities. Utilizing E-ELMo for local entity disambiguation, we outperform all of the state-of-the-art local and global models on the popular benchmarks by improving about 0.5\% on micro average accuracy for AIDA test-b with Yago candidate set. The evaluation setup of the training data and candidate set are the same as our baselines for fair comparison.

研究の動機と目的

• ローカルNEDモデルがメンションと候補エンティティの間の豊かな文脈的依存関係を捉えることの限界を解決すること。
• 標準的なELMoが単語を予測するのではなくエンティティを予測するという、エンティティに配慮した意識の欠如を克服すること。
• 適切に設計されたローカルモデルがコンテキストエンティティ表現を用いることで、性能においてグローバルモデルを上回れることを示すこと。
• アノテーションのないコーパスとエンド・トゥ・エンドの学習を用いて、深く文脈に依存するエンティティ表現を学習すること。

提案手法

• 次の単語を予測するのではなく、メンションの位置における接地エンティティを予測するように予測目的を変更することで、ELMoを拡張する。
• 文字レベルのCNNエンコーダーを備えた双方向RNNを用いて、各トークンの文脈に配慮した表現を生成する。
• アノテーションのないテキスト上でエンド・トゥ・エンドにモデルを学習し、メンションスパンでの正しいエンティティ予測を促進する損失関数を用いる。
• E-ELMoの表現を、メンション文脈とエンティティ表現の類似度に基づいて候補エンティティをスコア化する単純なローカル分類器に統合する。
• グローバルな同時推論を一切用いずに、メンション文脈とエンティティ表現のみを用いてローカルのエンティティアンビグアイティ解消にモデルを適用する。
• エンティティに配慮した監視、語彙的特徴、事前知識の寄与を評価するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 エンティティに配慮したコンテキスト表現を備えたローカルNEDモデルは、最先端のグローバルモデルを上回ることができるか？
• RQ2 エンティティに配慮した事前学習は、低頻度およびレアエンティティのパフォーマンスにどのように影響するか？
• RQ3 E-ELMoの表現は、アンビグアイティ解消に関連する構文的・意味的・語彙的依存関係をどの程度捉えているか？
• RQ4 語彙的特徴および事前知識を削除してもパフォーマンスが著しく低下するか？これはE-ELMoの表現の頑健さを示唆するか？

主な発見

• E-ELMoは、YAGOの候補セットを用いたAIDA test-bにおいて、マイクロ平均精度96.24%を達成し、以前の最先端グローバルモデルを約0.5%上回った。
• モデルは珍しいエンティティに対しても強いパフォーマンスを維持し、Wikipediaに1～10回出現するエンティティでは95.42%の精度を示した。これは、このカテゴリでグローバルモデル（91.93%）を著しく上回った。
• 語彙的特徴や事前知識がなくても、E-ELMoモデルはYAGOセットで92.30%の精度を達成した。これは、エンティティに配慮した表現が頑健で自己完結的であることを示している。
• オープンドメインのデータセットでも、E-ELMoは最先端のグローバルモデルと競合する性能を示し、標準ベンチマークを超えた一般化能力を示した。
• アブレーションスタディの結果、事前知識および語彙的特徴を削除してもパフォーマンスの低下はわずかにとどまり、E-ELMoが内部的に必須の依存関係を捉えていることが示された。
• E-ELMoは、すべての文書のメンション数にわたり一貫してグローバルモデルを上回った。特にメンション数が20未満の文書では、性能差が最大となった。