[論文レビュー] Fine-Grained Named Entity Recognition using ELMo and Wikidata

Cihan Dogan, Aimore Resende Riquetti Dutra+5 more|arXiv (Cornell University)|Apr 23, 2019

Topic Modeling参考文献 26被引用数 9

ひとこと要約

本論文は、ELMoの文脈的埋め込みとWikidataを組み合わせることで、112種類の詳細なタイプにエンティティの表記を分類する、微細な名前付きエンティティ認識（FgNER）フレームワークを提案する。Wikidataの階層的分類体系とコサイン類似度を用いたタイプクラスタリングにより、直接微調整を行わずとも、Wiki（ゴールド）データセットで52.8%のF1スコアを達成し、多様なドメインにわたる強力なゼロショット一般化を示した。

ABSTRACT

Fine-grained Named Entity Recognition is a task whereby we detect and classify entity mentions to a large set of types. These types can span diverse domains such as finance, healthcare, and politics. We observe that when the type set spans several domains the accuracy of the entity detection becomes a limitation for supervised learning models. The primary reason being the lack of datasets where entity boundaries are properly annotated, whilst covering a large spectrum of entity types. Furthermore, many named entity systems suffer when considering the categorization of fine grained entity types. Our work attempts to address these issues, in part, by combining state-of-the-art deep learning models (ELMo) with an expansive knowledge base (Wikidata). Using our framework, we cross-validate our model on the 112 fine-grained entity types based on the hierarchy given from the Wiki(gold) dataset.

研究の動機と目的

• 大規模かつ多様なドメインにわたるタイプセットを扱う際の微細なNERの精度が低いという課題に対処すること。
• 手作業によるアノテーションに依存するのを減らすために、構造的かつ階層的なエンティティタイプのソースとしてWikidataを活用すること。
• 文脈的埋め込みと知識ベースへのリンクを組み合わせることで、ゼロショット一般化を向上させること。
• 再トレーニングなしで新しいドメインに適応可能なスケーラブルかつ移譲可能なFgNERを実現すること。
• WikipediaおよびWikidataから導出された112タイプの階層構造を用いたデータセット上で、モデルの性能を評価すること。

提案手法

• モデルは、テキスト内のエンティティ表記の文脈的表現を符号化するためにELMo埋め込みを用いる。
• 多ラベル分類ヘッドを適用して、人物、場所、組織などの粗いエンティティタイプを予測する。
• 微細な分類のため、エンティティリンクを介してWikidataにタイプをマッピングし、エンティティの説明のコサイン類似度を用いてクラスタリングを行う。
• クラスタリング処理では、Wikipediaのテキストを用いてWord2Vec埋め込みを計算し、エンティティの説明と可能なサブタイプ間の類似度を算出する。
• 妥当なサブタイプマッピングをフィルタリングするために、0.1のコサイン類似度の閾値を適用し、スコアが最も高いマッチングを選択する。
• フレームワークはWiki（ゴールド）データセットへの直接トレーニングを回避し、代わりに事前学習済みの埋め込みと外部知識に依存してゼロショット推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ELMoに基づく文脈的埋め込みとWikidataを組み合わせることで、微細なNERにおけるゼロショット性能が向上するか？
• RQ2 Wikidataの階層的構造は、エンティティ表記の正確な自動サブタイプ分類を可能にするか？
• RQ3 エンティティの説明とWikidataのサブタイプ間のコサイン類似度を用いたクラスタリングは、ヒューリスティックまたはルールベースのクラスタリングを上回る効果を持つか？
• RQ4 特定のデータセットに微調整を行わずとも、112タイプの階層構造を用いた場合に、モデルの性能はどの程度か？
• RQ5 Wikidataと文脈的埋め込みへのアクセスのみで、再トレーニングなしにドメインを越えて一般化できるか？

主な発見

• モデルは112タイプのWiki（ゴールド）データセットで、マイクロ平均F1スコア52.8%を達成し、強力なゼロショット性能を示した。
• OntoNotesデータセットではF1スコア88.7%を達成し、広範で粗いカテゴリにおいて優れた性能を示した。
• 最も高いスコアを記録したのは組織（F1: 85%）であり、芸術分野はF1が0%にとどまり、希少または曖昧なタイプの微細な分類における課題が明らかになった。
• 人物（F1: 66%）と場所（F1: 54%）で最も高い性能を示し、これらタイプに関してはWikidataの構造と良好に一致していることが示唆された。
• 直接チューニングを行わずとも、先行研究（Link et al., 2012）を上回り、Wiki（ゴールド）データセットで52.8% vs. 53.2%のF1スコアを達成した。
• Word2Vec埋め込みを用いたコサイン類似度に基づくクラスタリング手法は、特に人物、場所、組織の分野で、エンティティをサブタイプに効果的にマッピングできた。