[논문 리뷰] Few-shot Fine-tuning vs. In-context Learning: A Fair Comparison and Evaluation

Marius Mosbach, Tiago Pimentel외 3명|arXiv (Cornell University)|2023. 05. 26.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 OPT 및 Pythia 모델을 사용하여 125M에서 30B 파라미터에 이르는 다양한 크기의 모델을 대상으로, 소수의 예제를 사용한 파인튜닝(FT)과 인자내적 학습(ICL) 간의 공정하고 모델 크기 제어된 비교를 제시한다. 모델 크기가 동일할 경우 FT는 도메인 외부 데이터에서 ICL만큼 일반화된다는 것을 발견하였으며, 이는 이전에 ICL가 본질적으로 더 견고하다는 주장에 도전하는 바이며, 두 방법 모두 데이터, 프롬프트 설계, 모델 스케일에 매우 민감하고 불안정하다는 점을 부각시킨다.

ABSTRACT

Few-shot fine-tuning and in-context learning are two alternative strategies for task adaptation of pre-trained language models. Recently, in-context learning has gained popularity over fine-tuning due to its simplicity and improved out-of-domain generalization, and because extensive evidence shows that fine-tuned models pick up on spurious correlations. Unfortunately, previous comparisons of the two approaches were done using models of different sizes. This raises the question of whether the observed weaker out-of-domain generalization of fine-tuned models is an inherent property of fine-tuning or a limitation of the experimental setup. In this paper, we compare the generalization of few-shot fine-tuning and in-context learning to challenge datasets, while controlling for the models used, the number of examples, and the number of parameters, ranging from 125M to 30B. Our results show that fine-tuned language models can in fact generalize well out-of-domain. We find that both approaches generalize similarly; they exhibit large variation and depend on properties such as model size and the number of examples, highlighting that robust task adaptation remains a challenge.

연구 동기 및 목표

• 모델 크기와 같은 혼란 요인을 제거함으로써 인자내적 학습(ICL)이 파인튜닝(FT)보다 도메인 외부 일반화에서 뛰어나다는 모순되는 주장들을 해결하기 위해.
• 이전 연구에서 관찰된 ICL과 FT 간의 일반화 갭이 파인튜닝의 본질적 한계 때문인지, 아니면 모델 크기의 불균형으로 인한 실험 설계 결함 때문인지 조사하기 위해.
• 다양한 모델 크기(125M에서 30B)와 소수의 예제 설정(16개 및 128개 예제)에서 파인튜닝과 ICL의 안정성과 성능을 평가하기 위해.
• 프롬프트 설계, 데이터 선택 전략, 모델 스케일이 두 가지 적응 전략의 일반화 행동에 미치는 영향을 평가하기 위해.
• 통제된 조건 하에서의 실험 결과를 바탕으로, 언제이고 어떻게 효과적으로 FT나 ICL를 사용할 수 있는지에 대한 실질적인 통찰을 제공하기 위해.

제안 방법

• 모델 크기를 통제 변수로 삼기 위해 125M에서 30B에 이르는 다양한 크기의 OPT 및 Pythia 모델을 사용하였다.
• 표준화된 파인튜닝 프로세스를 위해 고정된 입력 패턴과 버벌라이저를 사용한 패턴 기반 파인튜닝(PBFT)을 적용하였다.
• 일관된 ICL 설정을 확보하기 위해 16-shot 예시와 세 가지 프롬프트 패턴(minimal, gpt-3, eval-harness)을 사용하였다.
• RTE 및 MNLI 데이터셋에서 10개의 랜덤 데이터 시드를 사용하여 안정성을 평가하기 위해 훈련 및 평가를 수행하였다.
• 일반화 강건성 평가를 위해 도메인 내 및 도메인 외부 성능 기반으로 모델 체크포인트를 선택하였다.
• 모델 크기와 데이터 설정 간의 성능 차이에 대한 통계적 유의성을 판단하기 위해 웰치의 t-검정을 수행하였다.

실험 결과

연구 질문

• RQ1 모델 크기가 동일할 경우, 소수의 예제를 사용한 파인튜닝은 도메인 외부 데이터에서 인자내적 학습과 동일한 수준의 일반화를 보이는가?
• RQ2 모델 크기가 파인튜닝과 인자내적 학습의 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 소수의 예제 수(16개 대비 128개)가 두 적응 전략의 안정성과 성능에 어떤 역할을 하는가?
• RQ4 파인튜닝과 인자내적 학습은 프롬프트 설계 및 데이터 선택 전략에 얼마나 민감한가?
• RQ5 이전에 관찰된 인자내적 학습의 파인튜닝에 대한 우월성은 본질적 우월성 때문인가, 아니면 모델 크기의 불균형으로 인한 실험 편향 때문인가?

주요 결과

• 모델 크기가 동일할 경우, 소수의 예제를 사용한 파인튜닝은 도메인 외부 데이터에서 인자내적 학습과 유사한 수준의 일반화를 보이며, 이는 이전에 ICL의 본질적 견고성에 대한 주장에 도전하는 바이다.
• 6.7B 모델을 사용한 파인튜닝은 단지 16개의 예제만으로도 30B 모델을 사용한 인자내적 학습과 유사한 성능을 달성하였다. 이는 모델 스케일이 이전 비교에서 중대한 영향을 미쳤음을 시사한다.
• 두 방법 모두 랜덤 시드에 따라 높은 불안정성을 보이며, 도메인 내 및 도메인 외부 성능에 큰 변동이 있었다.
• 두 방법의 성능은 모델 크기가 커질수록 향상되었으며, 테스트한 모델과 데이터셋의 경우 파인튜닝이 종종 인자내적 학습보다 더 잘 일반화되었다.
• 프롬프트 패턴과 데이터 선택 전략(예: 도메인 내 최고 성능 vs. 도메인 외부 최고 성능 체크포인트)의 선택이 성능에 상당한 영향을 미치며, 특히 파인튜닝의 경우 더욱 두드러졌다.
• 16개의 예제와 최적의 체크포인트 선택 조건에서 대부분의 모델 크기에서 RTE 데이터셋에서 ICL과 FT 간에 통계적으로 유의미한 성능 차이가 없었으며, 이는 공정한 조건 하에서 두 방법이 유사한 일반화 성능를 보임을 시사한다.