Skip to main content
QUICK REVIEW

[논문 리뷰] NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction

Yi Sun, Yu Zheng|arXiv (Cornell University)|2021. 09. 08.
Topic ModelingComputer Science참고 문헌 39인용 수 30
한 줄 요약

NSP-BERT는 Next Sentence Prediction(NSP)을 사용한 문장 수준 프롬프트 기반 학습을 도입하여 BERT와 함께 제로샷 및 소수샷 학습을 가능하게 하고, RoBERTa와 유사한 코퍼스에서의 사전 학습을 지속함으로써 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

Using prompts to utilize language models to perform various downstream tasks, also known as prompt-based learning or prompt-learning, has lately gained significant success in comparison to the pre-train and fine-tune paradigm. Nonetheless, virtually all prompt-based methods are token-level, meaning they all utilize GPT's left-to-right language model or BERT's masked language model to perform cloze-style tasks. In this paper, we attempt to accomplish several NLP tasks in the zero-shot scenario using a BERT original pre-training task abandoned by RoBERTa and other models--Next Sentence Prediction (NSP). Unlike token-level techniques, our sentence-level prompt-based method NSP-BERT does not need to fix the length of the prompt or the position to be predicted, allowing it to handle tasks such as entity linking with ease. Based on the characteristics of NSP-BERT, we offer several quick building templates for various downstream tasks. We suggest a two-stage prompt method for word sense disambiguation tasks in particular. Our strategies for mapping the labels significantly enhance the model's performance on sentence pair tasks. On the FewCLUE benchmark, our NSP-BERT outperforms other zero-shot methods on most of these tasks and comes close to the few-shot methods.

연구 동기 및 목표

  • 토큰 수준 MLM 대신 문장 수준의 사전 학습 과제(NSP)를 활용하는 프롬프트 학습을 고무한다.
  • 다양한 NLP 과제 전반에서 강력한 제로샷 성능과 경쟁력 있는 소수샷 성능을 가능하게 한다.
  • RoBERTa-유사 코퍼스에서의 사전 학습을 지속하는 것이 NSP-BERT 성능을 향상시킨다는 것을 보여준다.
  • 단일 문장 분류를 위한 이진 교차 엔트로피를 사용하는 NSP 헤드를 활용하기 위한 NSP-튜닝을 제안한다.
  • 다양한 과제 구성에 대해 후보-대조 및 샘플-대조의 두 가지 읽기/라벨 매핑 전략을 도입한다.

제안 방법

  • vanilla BERT NSP 목표를 되짚고 이를 다운스트림 과제의 프롬프트 기반 학습에 적용한다.
  • NSP에 맞춰 다중 라벨 및 가변 길이 출력을 가능하게 하는 프롬프트를 문장 수준으로 구성한다.
  • 레이블을 프롬프트에 매핑하는 발화기(verbalizer)를 사용하여 라벨이 더 긴 구문이나 단어일 수 있도록 한다.
  • 양성/음성 인스턴스를 결합하고 이진 교차 엔트로피 손실을 사용해 제로샷의 이점을 소수샷 상황에서도 유지하도록 NSP-튜닝을 제안한다.
  • 최종 예측을 도출하기 위해 후보-대조는 다중 후보 과제에, 샘플-대조는 문장 쌍 과제에 적용되는 두 가지 해석 맵핑 전략을 도입한다.
  • RoBERTa-유사 코퍼스로의 사전 학습 지속(BERT_C_B+Mix5)이 제로샷 및 소수샷 이점을 유의하게 가져다준다.

실험 결과

연구 질문

  • RQ1NSP, 문장 수준의 사전 학습 과제가 제로샷 및 소수샷 체제에서 효과적인 프롬프트 기반 학습기로 작용할 수 있는가?
  • RQ2양성/음성 예시를 결합하고 이진 손실을 이용한 NSP-튜닝이 소수샷 설정에서 MLM 기반 프롬프트와 비교하여 어떤 차이가 있는가?
  • RQ3NSP-BERT를 사용할 때 사전 학습 코퍼스 선택이 소수샷 성능에 어떤 영향을 미치는가?
  • RQ4NLTK처럼 엔티티 연결이나 타이핑과 같이 가변 길이의 라벨 설명을 처리할 수 있는가?
  • RQ5다양한 과제 유형에서 라벨을 프롬프트에 매핑하기 위한 실용적 전략(후보-대조, 샘플-대조)은 무엇인가?

주요 결과

  • NSP-BERT는 제로샷 성능에서 경쟁력 있는 성능을 달성하며, 특히 다중 주제의 중국어 데이터셋과 영어 과제에서 두드러진다.
  • 소수샷 설정에서 NSP-BERT는 많은 데이터셋에서 PET와 비슷한 성능을 보이고 NLI 사전 학습 없이도 EFL보다 우수한 경우가 많다.
  • 양성/음성 인스턴스를 결합하고 이진 교차 엔트로피 손실을 사용하는 NSP-튜닝은 과제 전반에서 강력한 이점을 제공한다.
  • RoBERTa-유사 코퍼스로의 사전 학습 지속은 제로샷 및 소수샷 성능을 크게 향상시키며, 때로는 프롬프트 방법론의 자체 변경보다도 효과적이다.
  • 두 단계 프롬프트와 두 가지 매핑 전략은 가변 길이 라벨 설명을 가진 엔티티 연결 등과 같은 과제를 처리할 수 있게 한다.
  • NSP-BERT는 소수샷 학습에서 베이스라인보다 더 빠르게 수렴하며 모델 규모에 관계없이 여전히 효과적이다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.