[論文レビュー] PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search

Mozhi Zhang, Hang Yan+2 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用数 4

ひとこと要約

PromptNERは、k近傍法（k-NN）検索を用いて、サポートセットの例のみを用いてラベルプロトタイプを最適化する、プロンプトベースの few-shot NER手法を提案する。これにより、低リソースのターゲットドメインにおける有効なファインチューニングが可能となる。Promptエンジニアリング、位置に配慮したバイアフィンスパン検出器、およびk-NNで最適化されたプロンプトベース分類器を組み合わせることで、Few-NERDおよびCrossNERで最先端の性能を達成する。

ABSTRACT

Few-shot Named Entity Recognition (NER) is a task aiming to identify named entities via limited annotated samples. Recently, prototypical networks have shown promising performance in few-shot NER. Most of prototypical networks will utilize the entities from the support set to construct label prototypes and use the query set to compute span-level similarities and optimize these label prototype representations. However, these methods are usually unsuitable for fine-tuning in the target domain, where only the support set is available. In this paper, we propose PromptNER: a novel prompting method for few-shot NER via k nearest neighbor search. We use prompts that contains entity category information to construct label prototypes, which enables our model to fine-tune with only the support set. Our approach achieves excellent transfer learning ability, and extensive experiments on the Few-NERD and CrossNER datasets demonstrate that our model achieves superior performance over state-of-the-art methods.

研究の動機と目的

• 従来のプロトタイプネットワークが、固定されたラベルプロトタイプのため、新しいサポートセットでのファインチューニングができないという限界を是正すること。
• 推論時にサポートセットのみを用いてモデル最適化を可能にすることで、few-shot NERにおける転移学習を可能にすること。
• k-NN検索をプロンプトベース分類と統合することで、スパン検出とエンティティタイプ分類を向上させること。
• ドメインやエンティティタイプに一般化可能な、シンプルだが効果的なfew-shot NERのベースラインを提供すること。

提案手法

• エンティティカテゴリ情報を埋め込んだ自然言語プロンプトを構築し、事前学習言語モデル（PLM）がエンティティ抽出を効果的に行えるように誘導する。
• 入力文から候補スパンを検出するために、位置に配慮したバイアフィンモジュールを採用する。
• 従来のプロトタイプベースの類似度計算に代わって、スパンレベルのメトリクス学習を実行するプロンプトベース分類器を用いる。
• スパン予測の精緻化のため、サポートセットから真のエンティティ表現をk-NN検索で取得する。
• クエリセットを必要とせず、新しいサポートセット上でラベルプロトタイプ埋め込みを直接最適化することで、エンドツーエンドのファインチューニングを可能にする。
• 最近接するラベルプロトタイプとの距離を測定することで、誤検出スパンをフィルタリングする新しいリランク戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 クエリセットに依存せずに、サポートセットでのみファインチューニングが可能なプロンプトベース手法が、few-shot NERの性能向上に寄与するか？
• RQ2 限られたサポート例しか利用できない状況下で、k-NN検索がラベルプロトタイプ表現学習をどの程度向上させるか？
• RQ3 プロンプトベース分類とスパン検出が、従来のプロトタイプベースメトリクス学習を上回る性能を発揮できるか？
• RQ4 提案手法が、低リソース環境下で異なるドメインやエンティティタイプに一般化できるか？
• RQ5 k-NNとプロンプト工学の統合により、few-shot NERにおける誤検出スパンの予測が軽減されるか？

主な発見

• PromptNERはFew-NERDおよびCrossNERベンチマークで最先端の性能を達成し、既存のfew-shot NER手法を上回る。
• モデルは強力な転移学習能力を示し、適応段階でクエリデータを必要とせず、新しいサポートセットでの有効なファインチューニングが可能である。
• k-NN検索部は、スパンの精緻化に必要な関連するサポート例を取得することで、予測精度を顕著に向上させる。
• 提案されたリランク戦略は、未学習のエンティティタイプに対しても、誤検出スパンの効果的なフィルタリングを実現する。
• k-NN統合によるプロンプトベース分類器は、標準的なプロトタイプベース手法に比べ、より頑健で一般化性の高いエンティティタイプ分類を実現する。
• 複数のN-way K-shot設定においても高い性能を維持しており、低リソース状況下での堅牢性を確認する。