[논문 리뷰] Prompt-based Text Entailment for Low-Resource Named Entity Recognition

Dongfang Li, Baotian Hu외 1명|arXiv (Cornell University)|2022. 11. 06.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PLMs)을 사용하여 저자원 명시적 개체명 인식(NER)을 프롬프트 기반 텍스트 함의(PTE)로 재정의하는 새로운 방법을 제안한다. 엔티티 유형 전용 프롬프트를 가설로, 입력 문장을 전제로 간주함으로써 PTE는 미세조정 없이도 PLM의 지식을 활용하여 엔티티 유형당 50개 이하의 레이블 예제로도 MIT Movie 및 Few-NERD 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.

연구 동기 및 목표

• 레이블 데이터가 부족한 저자원 환경에서 정확한 NER 모델을 훈련하는 데 도전한다.
• 다량의 레이블 데이터가 필요하고 저자원 상황에서 높은 분산을 보이는 미세조정의 한계를 극복한다.
• NER를 텍스트 함의 작업으로 재정의하여 도메인 간 지식 전이를 가능하게 함으로써 사전 훈련된 언어 모델을 더 효과적으로 활용한다.
• 전체 시퀀스 애너테이션을 필요로 하지 않고 다양한 도메인에서 작동하는 통합 추론 프레임워크를 개발한다.
• 최소한의 감독 정보로 함께 프롬프트 기반 학습을 사용하여 효과적인 소수의 예제 및 제로샷 NER를 가능하게 한다.

제안 방법

• NER를 텍스트 함의 작업으로 재정의: 입력 문장을 전제로, 엔티티 유형 전용 프롬프트를 가설로 간주한다.
• 각 토큰 위치에서 후보 엔티티 유형에 대해 PLM을 사용해 함의 점수를 계산하고, 가장 높은 점수를 받은 유형을 최종 레이블로 선택한다.
• 태깅 레이블을 프롬프트에 통합하고, n-그램 스팬 대신 개별 단어를 기본 단위로 간주하여 계산 복잡도를 낮춘다.
• 특히 저자원 환경에서 성능 향상을 위해 이산적이고 소프트 프롬프트 튜닝 전략을 모두 활용한다.
• 일반적인 텍스트 함의 데이터셋(SNLI, MNLI 등)을 사전 훈련에 사용하여 저자원 도메인으로의 일반화 능력을 향상시킨다.
• 후행 NER 작업에서의 미세조정이 필요 없도록 추가 분류층 없이 프롬프트 기반 학습을 적용한다.

실험 결과

연구 질문

• RQ1 NER를 텍스트 함의 작업으로 재정의하면 저자원 환경에서 성능 향상이 이루어지는가?
• RQ2 소수의 레이블 예제만 있을 때 프롬프트 기반 텍스트 함의는 표준 미세조정보다 어떻게 비교되는가?
• RQ3 레이블 조건화 및 소프트 프롬프트 대비 이산적 프롬프트 설계가 저자원 NER 성능에 미치는 영향은 무엇인가?
• RQ4 일반 목적 텍스트 함의 데이터셋에서의 지식이 도메인 특화 미세조정 없이도 소수의 예제 NER를 향상시킬 수 있는가?
• RQ5 표준 토큰 단위 예측 대비 함의 기반 접근 방식이 어휘적 및 의미적 일관성을 더 잘 유지하는가?

주요 결과

• PTE는 rich-resource 기준으로 사용되는 CoNLL03 데이터셋에서 경쟁력 있는 F1 점수를 달성한다.
• MIT Movie 데이터셋에서 PTE는 엔티티 유형당 50개 이하의 레이블 예제가 있을 경우, 미세조정된 BERT 모델보다 크게 뛰어나다.
• Few-NERD 데이터셋에서 소프트 프롬프트를 사용한 PTE는 500샷에서 F1 점수 67.4를 기록하여 이어지는 최고 성능 모델(66.8)을 크게 능가하며, 저샷 설정에서도 일관된 성능 향상을 보였다.
• 소프트 프롬프트 버전이 이산적 프롬프트 버전보다 항상 뛰어나며, 특히 저자원 환경에서 연속적 프롬프트 최적화의 이점이 드러났다.
• 제거 실험 결과, 특히 null 레이블에 대한 부정 예제가 성능에 매우 중요하며, 저자원 상황에서 그 영향이 더욱 두드러졌다.
• 레이블 조건화와 소프트 프롬프트는 성능 향상에 항상 기여하여, NER에 효과적인 프롬프트 기반 지식 전이를 위한 중요성을 입증했다.