[論文レビュー] Fine-Grained Entity Typing for Domain Independent Entity Linking

Yasumasa Onoe, Greg Durrett|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 39被引用数 6

ひとこと要約

本稿では、Wikipediaのカテゴリから学習された大規模な、遠隔教師付きのタイプ推定モデルを用いて、細分化されたエンティティタイプとしてエンティティリンクを定式化する、ドメインに依存しないエンティティリンクシステムを提案する。このモデルは、数万もの細分化されたタイプを予測する。ソフトタイプ予測を活用することで、エンティティの曖昧性解消が可能となり、CoNLL-YAGOでは最先端の性能を達成する。また、WikilinksNEDの未観測エンティティにおいても、ニューラルモデルよりも顕著に一般化性能が優れている。ゼロショット設定でも、強力なGRU+Attnモデルを上回る性能を示した。

ABSTRACT

Neural entity linking models are very powerful, but run the risk of overfitting to the domain they are trained in. For this problem, a domain is characterized not just by genre of text but even by factors as specific as the particular distribution of entities, as neural models tend to overfit by memorizing properties of frequent entities in a dataset. We tackle the problem of building robust entity linking models that generalize effectively and do not rely on labeled entity linking data with a specific entity distribution. Rather than predicting entities directly, our approach models fine-grained entity properties, which can help disambiguate between even closely related entities. We derive a large inventory of types (tens of thousands) from Wikipedia categories, and use hyperlinked mentions in Wikipedia to distantly label data and train an entity typing model. At test time, we classify a mention with this typing model and use soft type predictions to link the mention to the most similar candidate entity. We evaluate our entity linking system on the CoNLL-YAGO dataset (Hoffart et al., 2011) and show that our approach outperforms prior domain-independent entity linking systems. We also test our approach in a harder setting derived from the WikilinksNED dataset (Eshel et al., 2017) where all the mention-entity pairs are unseen during test time. Results indicate that our approach generalizes better than a state-of-the-art neural model on the dataset.

研究の動機と目的

• 訓練ドメインのエンティティ分布に過学習するニューラルエンティティリンクモデルの問題を解決すること。
• 頻出エンティティを記憶するのではなく、細分化されたエンティティの性質をモデル化することで、エンティティリンクにおける一般化性能を向上させること。
• ターゲットドメインにおけるラベル付きエンティティリンクデータを必要としない、強固でドメインに依存しないシステムの開発。
• 超細分化されたエンティティタイプが、訓練データに存在しないが、類似したエンティティ（例：「Ant」（昆虫） vs. 「Apache_Ant」）を効果的に区別できるかどうかを示すこと。
• 未学習の照合ペアが存在するゼロショット設定において、タイプベースの解釈が、エンドツーエンドのニューラルモデルよりも一般化性能に優れているかどうかを示すこと。

提案手法

• 本手法は、Wikipediaのカテゴリを階層的・マルチパート型に拡張することで、数万もの細分化されたエンティティタイプのインventryを構築する。
• Wikipediaのハイパーリンク付きの表記を遠隔教師付きの信号として用い、数百万件の例に対して超細分化されたエンティティタイプ推定モデルを学習する。
• タイプ予測確率を、文脈に基づいて出力する高容量のニューラルネットワーク（先行研究を改変）をタイプ推定モデルとして用いる。
• テスト時、エンティティリンクは単純なヒューリスティックにより実行される：各候補エンティティの事後タイプ確率の合計が最大となるものを選択する。
• エンティティリンクデータに対する直接的なエンドツーエンド学習を避けており、曖昧性解消を指導するのには、タイプモデルの予測結果のみに依存する。
• 本手法は、CoNLL-YAGOおよび、すべてのテスト照合ペアが学習時に未観測であったという挑戦的なゼロショット設定（WikilinksNEDから抽出）で評価される。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きエンティティリンクデータがターゲットドメインに存在しない状況でも、細分化されたエンティティタイプ推定が、ドメインを超えた一般化性能の向上に寄与するか。
• RQ2 Wikipediaのカテゴリに基づいて学習された遠隔教師付きタイプ推定モデルは、『Ant』（昆虫）と『Apache_Ant』のような類似したエンティティを効果的に区別できるか。
• RQ3 数万もの超細分化タイプ（tens of thousands）をモデル化することで、リソースが限られた状況や未学習状況において、粗めや中程度の粒度のタイプ推定よりも、より優れた曖昧性解消が達成できるか。
• RQ4 完全に未学習のエンティティが存在するゼロショット設定において、タイプベースのリンクシステムの性能は、最先端のニューラルモデルと比べてどの程度優れているか。
• RQ5 レアなタイプや曖昧なタイプでは、モデルの性能がどの程度低下するか。また、階層的カテゴリ拡張によって、その影響を軽減できるか。

主な発見

• CoNLL-YAGOデータセットでは、提案手法が、先行するドメインに依存しないエンティティリンクシステムを上回る最先端の性能を達成した。
• WikilinksNEDから抽出したゼロショット設定では、すべてのテスト照合ペアが学習時に未観測であったが、本モデルは強力なGRU+Attnニューラルモデルを上回った。GRU+Attnモデルは、最も頻出するエンティティベースラインでさえも下回った。
• ドメイン固有のデータで微調整したGRU+Attnモデルは、未学習のエンティティに対しては著しく性能を発揮できず、学習エンティティ分布への過学習が顕著に確認された。
• タイプ推定モデルは、3万の拡張カテゴリを用いてCoNLL開発セットで87.1%の正確度を達成した。これは元の3万カテゴリセット（84.4%）よりも2.7ポイント向上した。
• 希少カテゴリでは性能が著しく低下した：例えば「history」カテゴリでは、900個以上の固有表記が存在したにもかかわらず、F1スコアはわずか11.4にとどまり、意味的純度の欠如やラベルノイズの問題が示唆された。
• ベースラインモデルが失敗するような困難なケース、例えば「Kobe」（人物 vs. 都市）の曖昧性解消を正しく行えた。これは、曖昧な表記に対してもモデルの堅牢性が確認されたことを示している。