[論文レビュー] Few-NERD: A Few-Shot Named Entity Recognition Dataset

Ning Ding, Guangwei Xu+6 more|arXiv (Cornell University)|May 16, 2021

Topic Modeling参考文献 33被引用数 5

ひとこと要約

この論文は、188,238件のウィキペディア文にまたがり、8つの粗い粒度のエンティティタイプと66つの細かい粒度のエンティティタイプを含む、大規模かつ人手でアノテートされた少数ショット命名エンティティ認識（NER）データセットであるFEW-NERDを紹介する。このデータセットは、教師あり、型内一般化、型間一般化の3つの異なるタスクを通じて、少数ショットNERモデルのベンチマーク評価を可能にする。実験の結果、現在のモデルは特に低ショット設定下で細かい粒度のエンティティ認識に対して依然として困難を抱えていることが示された。

ABSTRACT

Recently, considerable literature has grown up around the theme of few-shot named entity recognition (NER), but little published benchmark data specifically focused on the practical and challenging task. Current approaches collect existing supervised NER datasets and re-organize them to the few-shot setting for empirical study. These strategies conventionally aim to recognize coarse-grained entity types with few examples, while in practice, most unseen entity types are fine-grained. In this paper, we present Few-NERD, a large-scale human-annotated few-shot NER dataset with a hierarchy of 8 coarse-grained and 66 fine-grained entity types. Few-NERD consists of 188,238 sentences from Wikipedia, 4,601,160 words are included and each is annotated as context or a part of a two-level entity type. To the best of our knowledge, this is the first few-shot NER dataset and the largest human-crafted NER dataset. We construct benchmark tasks with different emphases to comprehensively assess the generalization capability of models. Extensive empirical results and analysis show that Few-NERD is challenging and the problem requires further research. We make Few-NERD public at https://ningding97.github.io/fewnerd/.

研究の動機と目的

• 細かい粒度のエンティティタイプを伴う少数ショット命名エンティティ認識（NER）のための標準的で大規模なベンチマークの不足を解消すること。
• 既存のデータセットが通常4〜18種類の粗い粒度のタイプしか提供せず、少数ショット評価のために再利用されているという制限を克服すること。
• インスタンスレベル、タイプレベル、知識移転一般化を含む、少数ショットNERにおける一般化能力の包括的評価を可能にする統一されたベンチマークを提供すること。
• 高品質で公開可能なデータセットを提供することで、将来的な少数ショットNER研究および継続的知識グラフ構築を促進すること。

提案手法

• 188,238件のウィキペディア文から構築されたデータセットは、訓練済みのアノテーターが手動でアノテートしたもので、合計460万語、49万1,700件のエンティティが含まれる。
• 粒度と一貫性を確保するため、複数回の事前アノテーションラウンドを経て、8つの粗い粒度と66つの細かい粒度のエンティティタイプを有する階層的アノテーションスキーマが設計された。
• 3つのベンチマークタスクを定義した：教師あり学習のためのFEW-NERD（SUP）、型内一般化のためのFEW-NERD（INTRA）、型間一般化のためのFEW-NERD（INTER）。
• 最先端の少数ショットNERモデル（ProtoBERT、NNShot、StructShot）を3つのタスクで評価し、さまざまな少数ショット設定における性能を評価した。
• 5回の実験ランを実施し、トークンレベルおよびタイプレベルの誤差分解（例：FP、FN、Within、Outer）を用いて誤差分析を実施し、モデルの安定性と失敗モードを評価した。
• データセットは https://ningding97.github.io/fewnerd/ で公開されており、モデルのチェックポイントも併せて提供され、二酸化炭素排出量の低減と再現可能性の支援が図られている。

実験結果

リサーチクエスチョン

• RQ1 現在の少数ショットNERモデルは、未学習の細かい粒度のエンティティタイプに、低ショット設定下でどれほど一般化できるか？
• RQ2 少数ショットNERにおいて、異なる粗い粒度のエンティティタイプ間で知識をどれほど効果的に転送できるか？
• RQ3 プロトタイプネットワーク、最近傍探索、構造的デコーダーなどの異なる少数ショット学習戦略は、大規模で細かい粒度のNERベンチマーク上でどのように性能を発揮するか？
• RQ4 現在の少数ショットNERモデルの主な失敗モードは何か、特にスパン検出とタイプ分類の観点から。
• RQ5 提案されたベンチマークタスク（SUP、INTRA、INTER）は、少数ショットNERモデルの強みと弱みを効果的に区別できるか？

主な発見

• FEW-NERDは、66種類の細かい粒度のエンティティタイプを備えた、初めての大規模かつ人手でアノテートされた少数ショットNERデータセットであり、既存のベンチマークの範囲を大幅に拡張した。
• 5-way 5–10ショット設定において、ProtoBERTが評価されたモデルの中で最高のパフォーマンスを示し、特にタイプ分類においてNNShotやStructShotを上回った。
• StructShotはFEW-NERD（INTRA）タスクで精度が向上した。これは、知識移転が困難な状況下でViterbiデコーディングが誤検出（FP）を低減するのに役立つことを示している。
• 誤差分析の結果、トークンレベルの検出は比較的安定している（FPおよびFNが低い）が、タイプの誤分類、特に粗い粒度のカテゴリ間での誤分類（Outerエラー）が依然として大きな課題であることが判明した。
• 最近傍探索機構（NNShotおよびStructShot）ではモデルの不安定性が見られた一方、プロトタイプ計算の正則化効果により、プロトタイプモデルはより高い安定性を示した。
• このデータセットは、インスタンス、タイプ、知識移転の各次元における一般化評価を効果的に行うことができ、特に細かい粒度のエンティティに対して、少数ショットNERの継続的な困難さが浮き彫りになった。