[논문 리뷰] PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search

Mozhi Zhang, Hang Yan외 2명|arXiv (Cornell University)|2023. 05. 20.

Topic Modeling인용 수 4

한 줄 요약

PromptNER는 k-최근접 이웃(k-NN) 검색을 활용하여 지원 집합 예제만을 사용해 레이블 프로토타입을 최적화하는 프롬프트 기반 소수 샘플 NER 방법을 제안한다. 이는 자원이 부족한 타겟 도메인에서 효과적인 피지컬 튜닝을 가능하게 하며, Few-NERD와 CrossNER에서 최신 기술 수준의 성능을 달성한다. 이는 프롬프트 엔지니어링, 위치 인식형 이중선형 스파니드 탐지기, 그리고 k-NN 개선을 통한 프롬프트 기반 분류기를 조합하여 달성된다.

ABSTRACT

Few-shot Named Entity Recognition (NER) is a task aiming to identify named entities via limited annotated samples. Recently, prototypical networks have shown promising performance in few-shot NER. Most of prototypical networks will utilize the entities from the support set to construct label prototypes and use the query set to compute span-level similarities and optimize these label prototype representations. However, these methods are usually unsuitable for fine-tuning in the target domain, where only the support set is available. In this paper, we propose PromptNER: a novel prompting method for few-shot NER via k nearest neighbor search. We use prompts that contains entity category information to construct label prototypes, which enables our model to fine-tune with only the support set. Our approach achieves excellent transfer learning ability, and extensive experiments on the Few-NERD and CrossNER datasets demonstrate that our model achieves superior performance over state-of-the-art methods.

연구 동기 및 목표

• 기존 프로토타입 네트워크가 고정된 레이블 프로토타입으로 인해 새로운 지원 집합에서 피지컬 튜닝이 불가능한 한계를 해결하기 위해.
• 추론 중에 지원 집합만을 사용하여 모델 최적화를 가능하게 함으로써 소수 샘플 NER에서 전이 학습을 가능하게 하기 위해.
• k-NN 검색을 프롬프트 기반 분류와 융합하여 스팬 탐지 및 엔티티 타이핑을 향상시키기 위해.
• 다양한 도메인과 엔티티 유형으로 일반화되는 단순하지만 효과적인 기준 모델을 제공하기 위해.

제안 방법

• 엔티티 카테고리 정보를 통합한 자연어 프롬프트를 구성하여 사전 학습된 언어 모델(PLMs)이 엔티티 추출을 안내하도록 한다.
• 입력 문장에서 후보 스팬을 탐지하기 위해 위치 인식형 이중선형 모듈을 활용한다.
• 기존의 프로토타입 기반 유사도 계산 방식을 대체하기 위해 스팬 수준의 메트릭 학습을 수행하는 프롬프트 기반 분류기를 사용한다.
• 스팸 예측을 개선하기 위해 지원 집합에서 진짜 엔티티 표현을 검색하기 위해 k-NN 검색을 도입한다.
• 쿼리 집합이 필요 없이 새로운 지원 집합에서 직접 레이블 프로토타입 임베딩을 최적화하여 엔드 투 엔드 피지컬 튜닝을 가능하게 한다.
• 가장 가까운 레이블 프로토타입과의 거리를 측정하여 거짓 양성 스팬을 걸러내기 위한 새로운 재정렬 전략을 적용한다.

실험 결과

연구 질문

• RQ1 쿼리 집합에 의존하지 않고 지원 집합만으로도 피지컬 튜닝이 가능한 프롬프트 기반 방법이 소수 샘플 NER 성능을 향상시킬 수 있는가?
• RQ2 제한된 지원 예제만 존재할 때 k-NN 검색이 레이블 프로토타입 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 프롬프트 기반 분류와 스팬 탐지가 기존의 프로토타입 기반 메트릭 학습보다 소수 샘플 NER에서 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법이 자원이 부족한 환경에서 다양한 도메인과 엔티티 유형으로 일반화되는가?
• RQ5 k-NN와 프롬프트 엔지니어링의 통합이 소수 샘플 NER에서 거짓 양성 스팬 예측을 줄이는 데 효과적인가?

주요 결과

• PromptNER는 Few-NERD 및 CrossNER 벤치마크에서 기존의 소수 샘플 NER 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 모델는 새로운 지원 집합에서 쿼리 데이터 없이도 효과적인 피지컬 튜닝이 가능한 강력한 전이 학습 능력을 보여준다.
• k-NN 검색 구성 요소는 관련된 지원 예제를 검색하여 예측 정확도를 크게 향상시킨다.
• 제안된 재정렬 전략은 특히 미리보지 않은 엔티티 유형에 대해 거짓 양성 스팬을 효과적으로 걸러낸다.
• k-NN 통합이 포함된 프롬프트 기반 분류기는 표준 프로토타입 기반 접근 방식보다 더 강력하고 일반화 능력이 뛰어난 엔티티 타이핑을 가능하게 한다.
• 다양한 N-way K-shot 설정에서도 높은 성능를 유지하여, 자원이 부족한 상황에서의 강건성을 확인한다.