Skip to main content
QUICK REVIEW

[논문 리뷰] PromptNER: Prompting For Named Entity Recognition

Dhananjay Ashok, Zachary C. Lipton|arXiv (Cornell University)|2023. 05. 24.
Topic ModelingComputer Science인용 수 23
한 줄 요약

PromptNER는 매개변수 업데이트 없이 few-shot 및 교차 도메인 NER에서 최첨단 결과를 달성하기 위해 모듈식 도메인 정의, few-shot 예제, 그리고 chain-of-thought 출력 형식을 사용하는 프롬팅 기반 NER 접근법으로 CoNLL에서 GPT-4로 83.48% F1에 도달했습니다.

ABSTRACT

In a surprising turn, Large Language Models (LLMs) together with a growing arsenal of prompt-based heuristics now offer powerful off-the-shelf approaches providing few-shot solutions to myriad classic NLP problems. However, despite promising early results, these LLM-based few-shot methods remain far from the state of the art in Named Entity Recognition (NER), where prevailing methods include learning representations via end-to-end structural understanding and fine-tuning on standard labeled corpora. In this paper, we introduce PromptNER, a new state-of-the-art algorithm for few-Shot and cross-domain NER. To adapt to any new NER task PromptNER requires a set of entity definitions in addition to the standard few-shot examples. Given a sentence, PromptNER prompts an LLM to produce a list of potential entities along with corresponding explanations justifying their compatibility with the provided entity type definitions. Remarkably, PromptNER achieves state-of-the-art performance on few-shot NER, achieving a 4% (absolute) improvement in F1 score on the ConLL dataset, a 9% (absolute) improvement on the GENIA dataset, and a 4% (absolute) improvement on the FewNERD dataset. PromptNER also moves the state of the art on Cross Domain NER, outperforming prior methods (including those not limited to the few-shot setting), setting a new mark on 3/5 CrossNER target domains, with an average F1 gain of 3%, despite using less than 2% of the available data.

연구 동기 및 목표

  • 전체 재훈련이나 광범위한 라벨링 데이터 없이도 도메인 간에 유연한 NER 적응을 촉진한다.
  • LLM을 활용한 few-shot 학습과 교차 도메인 전이용 프롬프트 기반 NER 프레임워크를 도입한다.
  • 엔티티 추출과 정당화를 안내하기 위한 모듈식 정의 메커니즘과 출력 형식을 제공한다.

제안 방법

  • NER의 백본으로 조건부 생성 언어 모델(Seq-to-Seq)을 사용한다.
  • 도메인에서 엔티티의 정의를 설명하는 모듈식 정의를 도입한다.
  • 대상 도메인에 맞춘 few-shot 예제 세트를 제공한다.
  • 추론 가능하도록 후보 엔티티, 결정 및 설명을 포함하는 구조화된 형식으로 엔티티를 출력한다.
  • 표준 LLM 백본(GPT-3.5, GPT-4, T5-Flan)과의 실험을 통해 도메인 간 성능을 평가한다.
  • 정의, 예제, chain-of-thought 설명, 후보 목록의 영향력을 보여주는 제거 실험(Abalation)을 시연한다.
Figure 1: Example of prompt to pre-trained language model. Definition is in blue
Figure 1: Example of prompt to pre-trained language model. Definition is in blue

실험 결과

연구 질문

  • RQ1프롬프팅 기반 NER이 모듈식 도메인 정의 및 few-shot 예제로 표준 NER 벤치마크에서 기존의 few-shot 방법을 능가할 수 있는가?
  • RQ2chain-of-thought 스타일 출력과 명시적 후보 목록을 포함하는 것이 few-shot 및 교차 도메인 NER 성능을 개선하는가?
  • RQ3PromptNER는 제한된 데이터로 다양한 도메인(일반, 생물의학, 교차 도메인)에서 어떻게 성능을 발휘하는가?
  • RQ4few-shot 설정에서 모델 크기와 프롬프팅 구성요소가 NER 성능에 미치는 영향은 무엇인가?

주요 결과

  • PromptNER GPT-4는 CoNLL에서 few-shot 설정으로 83.48% F1를 달성한다.
  • PromptNER GPT-4는 GENIA에서 58.44% F1, FewNERD에서 72.59% F1를 달성(Overall FewNERD 평균 72.63).
  • CrossNER에서 PromptNER은 GPT-4와 함께 3개 도메인 중 5개 도메인 중 3개에서 1–2%의 데이터만으로도 이전 방법을 능가하며 평균 F1 증가 약 3%를 보인다.
  • PromptNER은 GPT-3.5 및 GPT-4 백본에서 제거 실험(ablation)에서 표준 Few-Shot Prompting 및 Chain-of-Thought Prompting보다 우수하다.
  • PromptNER은 최소한의 도메인 특화 데이터와 명시적 도메인 정의를 통해 강한 교차 도메인 및 생물의학 전달을 보인다.
Figure 2: AI Input Prompt
Figure 2: AI Input Prompt

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.