[論文レビュー] Improving Neural Named Entity Recognition with Gazetteers

Chan Hee Song, Dawn Lawrie+2 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 23被引用数 9

ひとこと要約

この論文は、Wikidataからのエンティティリスト（ガジェットリー）をBERT-BiLSTM-CRFモデルに統合することで、ニューラル名前付きエンティティ認識（NER）を向上させることを提案している。英語、中国語、ロシア語の全言語で一貫した性能向上を示しており、F1スコアの向上が実現されている。また、リソースが限られた状況下でも、カバレッジが高ければ性能劣化を伴わず、効果を発揮することが示された。

ABSTRACT

The goal of this work is to improve the performance of a neural named entity recognition system by adding input features that indicate a word is part of a name included in a gazetteer. This article describes how to generate gazetteers from the Wikidata knowledge graph as well as how to integrate the information into a neural NER system. Experiments reveal that the approach yields performance gains in two distinct languages: a high-resource, word-based language, English and a high-resource, character-based language, Chinese. Experiments were also performed in a low-resource language, Russian on a newly annotated Russian NER corpus from Reddit tagged with four core types and twelve extended types. This article reports a baseline score. It is a longer version of a paper in the 33rd FLAIRS conference (Song et al. 2020).

研究の動機と目的

• 外部知識としてのガジェットリーを統合することで、ニューラルNERの性能を向上させること。
• 多言語対応で高カバレッジのガジェットリーを、Wikidataから自動生成し、NERシステムに活用すること。
• ガジェットリー特徴が多様な言語、特にリソースが限られたロシア語に与える影響を評価すること。
• BERTベースのモデルにおいて、ガジェットリー特徴が性能を低下させるか、向上させるかを調査すること。
• ガジェットリーによるエンティティ置換を用いたデータ拡張の手法を検討し、モデルの汎化性能への影響を調査すること。

提案手法

• エンティティラベルとエイリアスを用いて、Wikidataから自動的にガジェットリーを生成し、エンティティタイプを標準的なNERカテゴリにマッピングする。
• 各単語がガジェットリー内のどのエンティティとも一致するかをチェックすることで、各エンティティタイプごとにバイナリーヒット特徴を生成する。
• これらのバイナリーヒット特徴をBERTの埋め込みと連結し、BiLSTM-CRFモデルに供給して、同時順序ラベリングを実行する。
• CRFデコードを用いて構造的予測を実現するエンドツーエンドの学習を、ファインチューニングされたBERTを用いて実施する。
• アノテーション済みエンティティをガジェットリー内のエンティティに置き換えることで、トレーニングデータの拡張を実施し、表記形（表記形、活用形、一般的な呼び名）を含む。
• リンク数が少ない、つまり認知度が低いWikidataエンティティを除外することでノイズを低減する、プロミネンスに基づくフィルタリング戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 ガジェットリー特徴の統合は、リソースが豊富な言語およびリソースが限られた言語においてNER性能を向上させるか？
• RQ2 ガジェットリーのカバレッジがBERTベースのNERモデルにおける性能向上に与える影響は何か？
• RQ3 ガジェットリーを用いたデータ拡張は、特にリソースが限られた状況下でモデルの汎化性能を向上させるか？
• RQ4 ガジェットリーにノイズが多い、もしくは認知度が低いエンティティが含まれていると、モデル性能に悪影響を及えるか？
• RQ5 ガジェットリーの内容とトレーニングデータの分布との整合性が、モデル学習に与える影響は何か？

主な発見

• 英語と中国語では、ガジェットリー特徴を追加することでF1スコアが0.22–0.30ポイント向上（例：英語拡張セット：64.17 vs. ベースライン64.08）し、性能劣化は認められなかった。
• ロシア語では、ガジェットリー特徴を有するモデルがコアタイプでF1スコア64.17を達成し、ベースライン（64.08）をわずかに上回った。これは、リソースが限られた状況下でも一貫した向上が得られることを示している。
• ガジェットリーのカバレッジが高い場合に性能向上が顕著に現れ、カバレッジが有効性の主要要因であることが確認された。
• ガジェットリーを用いたデータ拡張は一貫した向上をもたらさず、エンティティタイプの不一致（例：'ハーバード大学'を'Disneyland'に置換）が原因で効果が限定的だったと考えられる。
• ガジェットリー特徴は、常に性能を低下させず、トレーニングデータ分布と整合性が高い場合に有益であることが判明した。
• 著者らは、ガジェットリー特徴をNERシステムの標準的構成とするべきだと結論づけ、今後の研究として、文脈に応じたタイプ整合性のあるエンティティ置換手法の開発を提案している。