[論文レビュー] PromptNER: Prompting For Named Entity Recognition

Dhananjay Ashok, Zachary C. Lipton|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 23

ひとこと要約

PromptNER は、モジュール化されたドメイン定義、少数ショットの例、および思考過程の出力形式を用いた prompting ベースの NER アプローチを使用して、パラメータ更新なしで少数ショットおよびドメイン横断の NER で最先端の結果を達成し、特に GPT-4 を用いた CoNLL で 83.48% F1 に到達します.

ABSTRACT

In a surprising turn, Large Language Models (LLMs) together with a growing arsenal of prompt-based heuristics now offer powerful off-the-shelf approaches providing few-shot solutions to myriad classic NLP problems. However, despite promising early results, these LLM-based few-shot methods remain far from the state of the art in Named Entity Recognition (NER), where prevailing methods include learning representations via end-to-end structural understanding and fine-tuning on standard labeled corpora. In this paper, we introduce PromptNER, a new state-of-the-art algorithm for few-Shot and cross-domain NER. To adapt to any new NER task PromptNER requires a set of entity definitions in addition to the standard few-shot examples. Given a sentence, PromptNER prompts an LLM to produce a list of potential entities along with corresponding explanations justifying their compatibility with the provided entity type definitions. Remarkably, PromptNER achieves state-of-the-art performance on few-shot NER, achieving a 4% (absolute) improvement in F1 score on the ConLL dataset, a 9% (absolute) improvement on the GENIA dataset, and a 4% (absolute) improvement on the FewNERD dataset. PromptNER also moves the state of the art on Cross Domain NER, outperforming prior methods (including those not limited to the few-shot setting), setting a new mark on 3/5 CrossNER target domains, with an average F1 gain of 3%, despite using less than 2% of the available data.

研究の動機と目的

• 完全再訓練や大規模なラベル付きデータを必要とせず、ドメイン横断で柔軟な NER 適用を促進する。
• 少数ショット学習とドメイン横断転移のために大規模言語モデルを活用する prompting ベースの NER フレームワークを導入する。
• エンティティ抽出と正当化を導くモジュール定義メカニズムと出力フォーマットを提供する。

提案手法

• NER のバックボーンとして条件生成型言語モデル（Seq-to-Seq）を使用する。
• ドメインごとにエンティティとは何かを記述するモジュール定義を導入する。
• ターゲットドメインに合わせた少数ショットの例セットを提供する。
• 推論を可能にするため、候補エンティティ、決定、および説明を含む構造化形式でエンティティを出力する。
• 標準的な LLM バックボーン（GPT-3.5、GPT-4、T5-Flan）を用いて、ドメイン横断での性能を評価する。
• 定義、例、思考過程の説明、および候補リストの影響を示すアブレーションを実演する。）

Figure 1: Example of prompt to pre-trained language model. Definition is in blue

実験結果

リサーチクエスチョン

• RQ1 モジュール定義と少数ショットの例を用いた prompting ベースの NER は、標準的な NER ベンチマークで既存の少数ショット法を上回ることができるか？
• RQ2 思考過程スタイルの出力と明示的な候補リストの包含は、少数ショットおよびドメイン横断 NER の性能を改善するか？
• RQ3 限定データで、一般ドメイン・生物医療ドメイン・ドメイン横断など多様な領域で PromptNER はどう機能するか？
• RQ4 少数ショット設定におけるモデル規模と prompting コンポーネントが NER の性能に与える影響は何か？

主な発見

• PromptNER GPT-4 は少数ショット設定で CoNLL において 83.48% F1 を達成。
• PromptNER GPT-4 は GENIA で 58.44% F1、FewNERD で 72.59% F1（Overall FewNERD 平均 72.63）を達成。
• CrossNER では、GPT-4 を用いた PromptNER が 3/5 のドメインで従来手法を上回り、データの 1–2% のみで平均 F1 増分約 3%。
• PromptNER は GPT-3.5 および GPT-4 バックボーンでのアブレーションにおいて、標準的な Few-Shot Prompting および Chain-of-Thought Prompting を上回る。
• PromptNER は最小限のドメイン固有データと明示的なドメイン別定義を用いた強力なドメイン横断および生物医療転送を示す。

Figure 2: AI Input Prompt