Skip to main content
QUICK REVIEW

[论文解读] PromptNER: Prompting For Named Entity Recognition

Dhananjay Ashok, Zachary C. Lipton|arXiv (Cornell University)|May 24, 2023
Topic ModelingComputer Science被引用 23
一句话总结

PromptNER 使用基于提示的命名实体识别方法,具有模块化领域定义、少量示例以及思维链输出格式,在少样本与跨领域 NER 中无需参数更新即可实现最先进的结果,特别是在 CoNLL 上使用 GPT-4 达到 83.48% F1。

ABSTRACT

In a surprising turn, Large Language Models (LLMs) together with a growing arsenal of prompt-based heuristics now offer powerful off-the-shelf approaches providing few-shot solutions to myriad classic NLP problems. However, despite promising early results, these LLM-based few-shot methods remain far from the state of the art in Named Entity Recognition (NER), where prevailing methods include learning representations via end-to-end structural understanding and fine-tuning on standard labeled corpora. In this paper, we introduce PromptNER, a new state-of-the-art algorithm for few-Shot and cross-domain NER. To adapt to any new NER task PromptNER requires a set of entity definitions in addition to the standard few-shot examples. Given a sentence, PromptNER prompts an LLM to produce a list of potential entities along with corresponding explanations justifying their compatibility with the provided entity type definitions. Remarkably, PromptNER achieves state-of-the-art performance on few-shot NER, achieving a 4% (absolute) improvement in F1 score on the ConLL dataset, a 9% (absolute) improvement on the GENIA dataset, and a 4% (absolute) improvement on the FewNERD dataset. PromptNER also moves the state of the art on Cross Domain NER, outperforming prior methods (including those not limited to the few-shot setting), setting a new mark on 3/5 CrossNER target domains, with an average F1 gain of 3%, despite using less than 2% of the available data.

研究动机与目标

  • 在不中全量再训练或大规模标注数据的情况下,推动跨领域的灵活 NER 适配。
  • Introduce a prompting-based NER framework that leverages LLMs for few-shot learning and cross-domain transfer.
  • Provide a modular definition mechanism and output formatting to guide entity extraction and justification.

提出的方法

  • 使用条件生成语言模型(Seq-to-Seq)作为 NER 的主体框架。
  • 引入描述在该领域内何为实体的模块化定义。
  • 提供针对目标领域定制的少量示例集。
  • 以结构化格式输出实体,包括候选实体、决策和解释,以便推理。
  • 在标准的 LLM 主干上进行实验(GPT-3.5、GPT-4、T5-Flan),评估跨领域的性能。
  • 展示消融实验,显现定义、示例、思维链解释与候选列表的影响。
Figure 1: Example of prompt to pre-trained language model. Definition is in blue
Figure 1: Example of prompt to pre-trained language model. Definition is in blue

实验结果

研究问题

  • RQ1基于提示的 NER 是否在具有模块化领域定义和少量示例的设置下,能够在标准 NER 基准上超越现有的少样本方法?
  • RQ2是否包含思维链风格输出与明确的候选列表能够提升少样本和跨领域 NER 的性能?
  • RQ3在数据有限的情况下,PromptNER 如何在不同领域(通用、生物医药、跨域)表现?
  • RQ4模型规模与提示组件在少样本设置下对 NER 性能有何影响?

主要发现

  • PromptNER GPT-4 在 CoNLL 的少样本设置中达到 83.48% F1。
  • PromptNER GPT-4 在 GENIA 上达到 58.44% F1,在 FewNERD 上达到 72.59% F1(Overall FewNERD 平均 72.63)。
  • 在 CrossNER 上,PromptNER 配合 GPT-4 在 3/5 个领域的表现优于以往方法,且仅使用 1–2% 的数据,平均 F1 增益约为 3%。
  • PromptNER 在消融实验中超过了基于标准 Few-Shot Prompting 和 Chain-of-Thought Prompting,在 GPT-3.5 与 GPT-4 主干上均有表现。
  • PromptNER 展现出在跨领域与生物医学转移方面的强大能力,且对特定领域数据需求极低,且具备明确的按领域定义。
Figure 2: AI Input Prompt
Figure 2: AI Input Prompt

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。