[論文レビュー] QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition

Andy T. Liu, Wei Xiao+4 more|arXiv (Cornell University)|Mar 3, 2022

Topic Modeling被引用数 27

ひとこと要約

QaNERはNERを抽出型QAとして再構成し、QAモデルに最先端のfew-shotおよびzero-shot NER性能を達成させる。プロンプトへのロバスト性と開発セットサイズに対する頑健性、従来のプロンプトベース手法よりも推論を高速化する点を特徴とする。

ABSTRACT

Recently, prompt-based learning for pre-trained language models has succeeded in few-shot Named Entity Recognition (NER) by exploiting prompts as task guidance to increase label efficiency. However, previous prompt-based methods for few-shot NER have limitations such as a higher computational complexity, poor zero-shot ability, requiring manual prompt engineering, or lack of prompt robustness. In this work, we address these shortcomings by proposing a new prompt-based learning NER method with Question Answering (QA), called QaNER. Our approach includes 1) a refined strategy for converting NER problems into the QA formulation; 2) NER prompt generation for QA models; 3) prompt-based tuning with QA models on a few annotated NER examples; 4) zero-shot NER by prompting the QA model. Comparing the proposed approach with previous methods, QaNER is faster at inference, insensitive to the prompt quality, and robust to hyper-parameters, as well as demonstrating significantly better low-resource performance and zero-shot capability.

研究の動機と目的

• 低リソースの領域と言語において、実用的なfew-shot Named Entity Recognition (NER)を動機づける。
• プロンプトを用いてNERをQAタスクとして再定式化することにより、ラベル効率を改善する。
• プロンプト選択と開発セットサイズに頑健なプロンプト生成・チューニング戦略を開発する。
• 標準的なNERデータセットで強力なzero-shotおよびfew-shotの性能を示す。
• QAモデルからの頑健性・効率性・知識移転の分析を提供する。

提案手法

• エンティティ型ごとに質問プロンプトを用いてNER問題を抽出型QA形式に変換する。
• 既製のBERTベースQAモデルを用いて、文脈中のエンティティスパンをQAの回答として予測する。
• 各エンティティ型のプロンプトを生成する。手作りプロンプトと、マスク付き言語モデルによる自動生成プロンプトを含む。
• 回答可能な正例と回答不能な負例のQA例を組み込み、QAモデルを訓練する。
• 同じエンティティ型が文脈中に複数出現する場合を捉えるために例の繰返しを許可し、n-bestデコーディングを用いて関連するすべてのスパンを抽出する。
• 複雑性・頑健性・低リソース性能の観点から、QaNERを従来のプロンプトベースNER手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 従来のシーケンスラベリングおよび従来のプロンプトベース手法と比べて、QAベースのプロンプトアプローチはfew-shot NERの性能を改善できるか。
• RQ2 NERをプロンプト付きQAに変換することで、ドメイン間のrobustなzero-shotおよび低リソースの転移を可能にするか。
• RQ3 プロンプト設計、開発セットサイズ、負例がQaNERの性能にどう影響するか。
• RQ4 既存のプロンプトベースNER手法と比較した場合のQaNERの計算効率はどの程度か。

主な発見

• QaNERはQA知識移転を活用することで、従来のプロンプトベースNER手法より強力なzero-shot性能を達成する。
• few-shot設定（エンティティ型ごとに10–50例）では、特にエンティティ型が多い複雑なデータセットで顕著な性能優位を維持する。
• QaNERはプロンプト設計に対して頑健で、手作りプロンプトと自動生成プロンプトの両方が良好に機能し、five-Ws質問テンプレートが特に有効である。
• 負例の使用と出現の繰り返しは性能を大幅に向上させ、SQuAD 2.0の利点は負の学習に依存する。
• QaNERは計算効率が高く、その複雑さは入力長ではなくエンティティ型の数に比例するため、いくつかの従来手法より推論速度が向上する。