[論文レビュー] Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning

Yi Yang, Arzoo Katiyar|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 20被引用数 14

ひとこと要約

この論文では、文脈的表現を抽出する教師ありNERモデルを用い、特徴空間における最近傍分類を適用し、ラベル依存性をモデル化するためのViterbiデコードを組み合わせた、シンプルな少サンプルNERシステムであるStructShotを提案する。この手法は、メタ学習ベースの手法と比較して6%〜16%のF1スコア向上を達成し、少サンプルNERベンチマークで最先端の性能を発揮する。

ABSTRACT

We present a simple few-shot named entity recognition (NER) system based on nearest neighbor learning and structured inference. Our system uses a supervised NER model trained on the source domain, as a feature extractor. Across several test domains, we show that a nearest neighbor classifier in this feature-space is far more effective than the standard meta-learning approaches. We further propose a cheap but effective method to capture the label dependencies between entity tags without expensive CRF training. We show that our method of combining structured decoding with nearest neighbor learning achieves state-of-the-art performance on standard few-shot NER evaluation tasks, improving F1 scores by $6\%$ to $16\%$ absolute points over prior meta-learning based systems.

研究の動機と目的

• 少サンプルNERにおけるメタ学習アプローチの限界、特にO（outside）クラスの取り扱いやラベル依存性のモデル化の問題を解決すること。
• メタトレーニングやエピソードベースの学習を必要としない、シンプルで効果的な少サンプルNERシステムの開発。
• ベンチマークデータセットの標準的な開発セットとテストセットを用いた、少サンプルNERの標準化された評価設定の提案。
• クラスレベルのプロトタイプではなくインスタンスレベルの表現を活用することで、ゼロショットおよび少サンプル一般化性能の向上。
• 深層特徴空間における最近傍分類が、特にOクラスにおいて、プロトタイプネットワークよりも効果的であることを示すこと。

提案手法

• 事前学習済みの教師ありNERモデル（例：BERT）をソースドメインで微調整し、文脈的トークン表現を抽出する。
• 推論時、各テストトークンは、文脈的表現空間におけるコサイン類似度に基づき、サポートセット内の最近傍を特定することで分類される。
• ラベル依存性は、最近傍予測にViterbiデコーダーを適用することでモデル化され、グローバルに一貫性のあるシーケンスラベリングが保証される。
• クラスプロトタイプの学習を避ける一方で、各サポート例を代表インスタンスとして扱うことで、Oクラス内の意味的多様性をより良く捉える。
• ワンショットおよびファイブショットの例を用いて、ドメイン内およびドメイン外の少サンプルNER設定にこのアプローチを適用する。
• 標準化された評価プロトコルを導入し、サポートセットは標準的な開発セットからサンプリングされ、モデルは標準的なテストセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 深層特徴空間における最近傍分類は、少サンプルNERにおいてメタ学習手法を上回ることができるか？
• RQ2 既存のメタ学習アプローチが、少サンプルNERにおけるOクラスで困難を抱える理由は何か？
• RQ3 構造的デコードは、シーケンスラベリングタスクにおけるインスタンスベース分類の性能を向上させることができるか？
• RQ4 メタトレーニングやエピソードベースの適応を一切行わずに、最先端の少サンプルNER性能を達成することは可能か？
• RQ5 Oクラスが意味的に多様である場合、最近傍学習とプロトタイプネットワークの性能はどのように比較されるか？

主な発見

• StructShotは、標準ベンチマークにおいて、先行するメタ学習ベースの少サンプルNERシステムと比較して、F1スコアを6%〜16%の絶対値で向上させた。
• 最近傍分類は、意味的に多様なOトークンに対して一元的なノイズの多いプロトタイプを学習するのを避けるため、Oクラスの予測においてプロトタイプネットワークを著しく上回った。
• I2B2およびWNUTデータセットでは、ファイブショット設定でDATEに対して66.1のF1、personに対して57.8のF1を達成し、以前の手法を上回った。
• AGE、MED-REC、IDNUMといった非常に曖昧なクラスでは性能が低下しており、これはすべて数値であるため、ドメイン固有の手がかりの必要性を示唆している。
• PATIENTやDOCTORといったクラスでは、表面的な形態（例：'Dr.'）が重複する意味的手がかりをもつため、誤分類が発生しており、これにより識別を改善できる可能性がある。
• この手法はドメインをまたいで良好に一般化し、ドメイン内およびドメイン外の少サンプルNER転移設定の両方で強く性能を発揮した。