[논문 리뷰] Don't Stop Pretraining? Make Prompt-based Fine-tuning Powerful Learner

Zhengxiang Shi, Aldo Lipani|arXiv (Cornell University)|2023. 05. 02.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 작업 특화 데이터에서의 지속적 사전 훈련이 프롬프트 기반 테스트 훈련 성능을 향상시킨다는 가정을 도전한다. 특히 프롬프트 기반 테스트 훈련에 대해선 그렇다. 본 논문은 비지도 학습 목표를 사용하여 작업 특화 텍스트와 작업 특화 프롬프트 템플릿(라벨 매핑 포함)을 함께 언어 모델에 지속적으로 사전 훈련하는 프롬프트 기반 지속적 사전 훈련(PCP)을 제안한다. 이는 표준 테스트 훈련 대비 최대 20.1%p의 절대적 성능 향상을 이끌어내며, 반복 과정이 없고 최소한의 데이터로도 최신의 준지도 학습 방법을 능가한다.

ABSTRACT

Language models (LMs) trained on vast quantities of unlabelled data have greatly advanced the field of natural language processing (NLP). In this study, we re-visit the widely accepted notion in NLP that continued pre-training LMs on task-related texts improves the performance of fine-tuning (FT) in downstream tasks. Through experiments on eight single-sentence tasks and eight sentence-pair tasks in both semi-supervised and fully-supervised settings, we find that conventional continued pre-training does not consistently provide benefits and can even be detrimental for sentence-pair tasks or when prompt-based FT is used. To tackle these issues, we propose Prompt-based Continued Pre-training (PCP), which combines the idea of instruction tuning with conventional continued pre-training. Our approach aims to improve the performance of prompt-based FT by presenting both task-related texts and prompt templates to LMs through unsupervised pre-training objectives before fine-tuning for the target task. Our empirical evaluations on 21 benchmarks demonstrate that the PCP consistently improves the performance of state-of-the-art prompt-based FT approaches (up to 20.1% absolute) in both semi-supervised and fully-supervised settings, even with only hundreds of unlabelled examples. Additionally, prompt-based FT with the PCP outperforms state-of-the-art semi-supervised approaches with greater simplicity, eliminating the need for an iterative process and extra data augmentation. Our further analysis explores the performance lower bound of the PCP and reveals that the advantages of PCP persist across different sizes of models and datasets.

연구 동기 및 목표

• 기존의 작업 특화 데이터에서의 지속적 사전 훈련이 프롬프트 기반 방법에 대해 일관되게 테스트 훈련 성능을 향상시키는지 조사하는 것.
• 표준 지속적 사전 훈련을 사용할 경우 문장 쌍 작업 및 프롬프트 기반 테스트 훈련에서 관찰된 불안정성과 성능 저하 문제를 해결하는 것.
• 최소한의 레이블이 없는 데이터를 사용하여 프롬프트 기반 테스트 훈련 성능을 향상시키는 통합적이고 효과적인 사전 훈련 전략을 제안하는 것.
• 사전 훈련 단계에서 작업 데이터와 프롬프트 템플릿을 함께 결합하면, 표준 지속적 사전 훈련이나 기존 준지도 학습 방법보다 더 우수한 최종 성능을 달성할 수 있음을 보여주는 것.
• 제안된 방법이 다양한 모델 크기, 데이터셋, 훈련 방식에 걸쳐 강인하고 확장 가능한지 검증하는 것.

제안 방법

• 작업 특화 텍스트와 해당되는 프롬프트 템플릿(라벨 매핑 포함)을 비지도 학습 목표 하에 함께 사용하는 새로운 사전 훈련 전략인 프롬프트 기반 지속적 사전 훈련(PCP)을 제안한다.
• 입력 시퀀스가 입력 텍스트와 라벨 공간을 토큰 시퀀스로 매핑하는 프롬프트 템플릿을 포함하도록, 마스크된 언어 모델링을 사전 훈련 목표로 사용한다.
• 도메인 내 레이블이 없는 작업 데이터와 황금 또는 가짜 레이블이 부여된 프롬프트를 사용해 생성된 합성 예제의 조합으로 언어 모델을 훈련한다.
• 사전 훈련 중에 프롬프트 템플릿을 입력 시퀀스에 통합하여, 모델이 입력과 지시어 양쪽 모두에 주의를 기울일 수 있도록 하여, 최종 작업과의 정렬도 향상시킨다.
• PCP 이후에 표준 프롬프트 기반 테스트 훈련을 적용하며, 추가적인 데이터 증강이나 반복적 개선 과정이 필요하지 않다.
• 모든 작업에 통일된 프레임워크를 사용하여, 작업 특화 튜닝이나 복잡한 적응 절차를 피한다.

실험 결과

연구 질문

• RQ1 다양한 자연어 처리 작업에서 작업 특화 데이터에서의 기존 지속적 사전 훈련이 프롬프트 기반 테스트 훈련 성능을 일관되게 향상시키는가?
• RQ2 작업 데이터와 프롬프트 템플릿을 함께 사전 훈련하면, 표준 지속적 사전 훈련에서 관찰된 성능 저하 현상을 문장 쌍 작업에서 완화할 수 있는가?
• RQ3 정확도, 단순성, 데이터 효율성 측면에서 PCP의 성능은 최신 준지도 학습 방법과 비교해 어떻게 되는가?
• RQ4 PCP가 프롬프트 기반 테스트 훈련에서 유의미한 성과 향상을 이끌어내기 위해 필요한 최소한의 레이블이 없는 데이터의 양은 얼마인가?
• RQ5 PCP의 이점은 다양한 모델 크기와 데이터셋 규모에 걸쳐 유지되는가?

주요 결과

• 기존의 지속적 사전 훈련(TAPT)은 문장 쌍 작업에서 프롬프트 기반 테스트 훈련의 성능을 평균 9.2%p 저하시킬 수 있으며, 이는 항상 유리하지 않음을 시사한다.
• PCP는 21개의 벤치마크에서 프롬프트 기반 테스트 훈련을 최대 20.1%p 절대적으로 향상시키며, 표준 테스트 훈련과 TAPT를 모두 뛰어넘는다.
• PCP는 오직 100~500개의 레이블이 없는 예제만으로도 준지도 학습 설정에서 최신 기술 수준의 성능을 달성하여 높은 데이터 효율성을 입증한다.
• 반복적 자기 훈련이나 데이터 증강을 사용하는 기존 준지도 학습 방법보다 PCP가 뛰어나며, 반복 과정이나 추가 데이터가 필요하지 않다.
• PCP의 성능 향상 효과는 다양한 모델 크기와 데이터셋 규모에 걸쳐 강인하며, 일관된 하한선 향상을 보인다.
• 작은 모델과 제한된 데이터에 적용해도 PCP의 이점이 유지되므로, 광범위한 적용 가능성과 확장성에 기여한다.