[논문 리뷰] Cold-Start Data Selection for Few-shot Language Model Fine-tuning: A Prompt-Based Uncertainty Propagation Approach

Yue Yu, Rongzhi Zhang외 4명|arXiv (Cornell University)|2022. 09. 15.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 레이블이 없는 냉시작 조건에서 사전 훈련된 언어 모델의 소수 샘플 미세조정을 위한 프롬프트 기반 데이터 선택 방법인 Patron을 제안한다. 프롬프트 기반 불확실성 전파를 사용해 샘플의 중요도를 추정하고, 다양성을 보장하기 위해 분할-다시쓰기 전략을 적용하여 기준보다 최대 6.9% 높은 정확도를 달성하며, 레이블 128개만으로도 완전히 지도 학습 성능의 92.1%를 달성한다.

ABSTRACT

Large Language Models have demonstrated remarkable few-shot performance, but the performance can be sensitive to the selection of few-shot instances. We propose PATRON, a new method that uses prompt-based uncertainty estimation for data selection for pre-trained language model fine-tuning under cold-start scenarios, i.e., no initial labeled data are available. In PATRON, we design (1) a prompt-based uncertainty propagation approach to estimate the importance of data points and (2) a partition-then-rewrite (PTR) strategy to promote sample diversity when querying for annotations. Experiments on six text classification datasets show that PATRON outperforms the strongest cold-start data selection baselines by up to 6.9%. Besides, with 128 labels only, PATRON achieves 91.0% and 92.1% of the fully supervised performance based on vanilla fine-tuning and prompt-based learning respectively. Our implementation of PATRON is available at \url{https://github.com/yueyu1030/Patron}.

연구 동기 및 목표

• 레이블이 없는 상황에서 사전 훈련된 언어 모델의 소수 샘플 미세조정을 위한 고품질 훈련 데이터 선택 문제를 해결하기 위해.
• 냉시작 조건에서 데이터 선택 전략을 개선하여 저데이터 환경에서의 성능 변동을 줄이기 위해.
• 초기 레이블 데이터나 기울기 기반 불확실성에 의존하지 않고도 샘플의 다양성과 대표성을 향상시키기 위해.
• 프롬프트 기반 가짜 레이블링과 불확실성 전파를 활용해 사전 훈련과 미세조정 작업 간 격차를 줄이기 위해.
• 기존 냉시작 데이터 선택 기준보다 우수한 성능을 보이며, 저예산 설정에서 하이퍼파라미터에 민감하지 않은 강건한 방법을 개발하기 위해.

제안 방법

• 분류 작업을 막힌 언어 모델링을 통해 닫힘 스타일의 과제로 변환하기 위해 프롬프트 템플릿과 어휘화자(verbaliZers)를 사용하여 작업 인식 가짜 레이블을 생성한다.
• 임베딩 공간에서 커널 기반 유사도를 적용해 샘플 간 상관관계를 측정하고 예측 불확실성을 이웃 샘플으로 전파한다.
• 불확실성 전파를 도입하여 모델의 불확실성이 높은 영역을 식별한다. 여기서 샘플과 그 이웃이 모두 불확실한 경우, 높은 데이터 유용성을 나타낸다.
• 두 단계로 구성된 분할-다시쓰기(PTR) 전략을 적용한다: 첫 번째로 K-평균을 사용해 데이터를 군집화하고, 두 번째로 kNN 기반 이웃 그래프와 거리 정규화를 사용해 선택된 샘플을 개선한다.
• SimCSE 임베딩을 통합하여 의미 표현 품질을 향상시키고 RoBERTa 기반 임베딩의 열화 문제를 완화한다.
• PTR에 정규화 항을 도입하여 각 군집 내에서 선택된 샘플 간의 거리가 너무 가까워지지 않도록 하여 다양성을 확보한다.

실험 결과

연구 질문

• RQ1 레이블이 전혀 없는 냉시작 상황에서 프롬프트 기반 가짜 레이블링이 데이터 선택에 기여할 수 있는가?
• RQ2 기본 진짜 레이블이 없는 소수 샘플 미세조정 환경에서 불확실성을 신뢰할 수 있게 추정하고 전파할 수 있는가?
• RQ3 기울기나 모델 업데이트 신호에 의존하지 않고도 분할-다시쓰기 전략이 효과적으로 샘플 다양성을 향상시킬 수 있는가?
• RQ4 프롬프트 기반 불확실성과 임베딩 기반 유사도를 결합함으로써 데이터 선택 성능이 얼마나 향상되는가?
• RQ5 저레이블 예산 조건에서 제안된 방법이 하이퍼파라미터 설정에 얼마나 강인한가?

주요 결과

• Patron은 여섯 개의 텍스트 분류 데이터셋에서 가장 경쟁력 있는 냉시작 데이터 선택 기준보다 최대 6.9% 높은 성능을 기록한다.
• 단지 128개의 레이블 예시만으로도 완전히 지도 학습된 미세조정 성능의 91.0%를 달성하고, 완전히 지도 학습된 프롬프트 기반 학습 성능의 92.1%를 달성한다.
• SimCSE 임베딩의 사용은 RoBERTa 기반 모델에서 임베딩의 열화 문제를 완화함으로써 성능 향상에 기여한다.
• 불확실성 전파 기법은 높은 모델 불확실성 영역을 식별함으로써 데이터 유용성 추정을 향상시키며, 기준 불확실성 방법보다 더 나은 선택 성능을 이끈다.
• PTR 전략은 샘플 간 거리를 효과적으로 제어하여 다양성을 향상시키고 전체 성능 향상에 기여한다.
• Patron은 하이퍼파라미터 설정에 대해 강인하며, ρ, β, γ의 다양한 값에서도 성능이 안정되어 있으며, 반복적 튜닝을 통해 최적의 값을 도출할 수 있다.