[논문 리뷰] Comparing Specialised Small and General Large Language Models on Text Classification: 100 Labelled Samples to Achieve Break-Even Performance

Branislav Pecher, Ivan Srba외 1명|arXiv (Cornell University)|2024. 02. 20.

Science Education and Pedagogy인용 수 4

한 줄 요약

이 논문은 전문화된 소형 언어 모델이 텍스트 분류에서 일반 대형 언어 모델을 능가하기 위해 필요한 레이블이 부여된 샘플의 수를 조사한다. 세 가지 복잡도가 다른 데이터셋에서 피니튜닝, 프롬프팅, 인라인 학습, 지시 훈련을 통해 수행한 연구에서, 전문화된 모델이 일반 모델을 따라잡거나 능가하는 데 필요한 절점(브레이크이븐 포인트)을 규명하였으며, 일반적으로 100~1000개의 레이블이 부여된 예제만으로도 충분하며, 성능 변동성은 필요한 데이터를 25%~200% 증가시킨다.

ABSTRACT

When solving NLP tasks with limited labelled data, researchers typically either use a general large language model without further update, or use a small number of labelled samples to tune a specialised smaller model. In this work, we answer an important question -- how many labelled samples are required for the specialised small models to outperform general large models, while taking the performance variance into consideration. By observing the behaviour of fine-tuning, instruction-tuning, prompting and in-context learning on 8 language models, we identify such performance break-even points across 8 representative text classification tasks of varying characteristics. We show that the specialised models often need only few samples (on average $100$) to be on par or better than the general ones. At the same time, the number of required labels strongly depends on the dataset or task characteristics, with fine-tuning on binary datasets requiring significantly more samples. When performance variance is taken into consideration, the number of required labels increases on average by $100 - 200\%$. Finally, larger models do not consistently lead to better performance and lower variance, with 4-bit quantisation having negligible impact.

연구 동기 및 목표

• 전문화된 소형 언어 모델이 일반 대형 언어 모델과 성능이 동일하거나 뛰어나지 못하도록 하기 위해 필요한 레이블이 부여된 샘플의 수를 규명하는 것.
• 피니튜닝, 프롬프팅, 인라인 학습, 지시 훈련이라는 네 가지 자료 효율적인 NLP 접근법이 다양한 양의 레이블이 부여된 데이터에서 미치는 영향을 비교하는 것.
• 전문화된 모델가 일반 모델을 능가하는 데에 도달하는 절점(브레이크이븐 포인트)을 규명하고, 성능 변동성을 고려하는 것.
• 작업 복잡도와 결과 변동성이 필요한 레이블이 부여된 샘플 수에 어떻게 영향을 미치는지 평가하는 것.

제안 방법

• 연구는 세 가지 복잡도가 다른 텍스트 분류 데이터셋에서 피니튜닝, 프롬프트 훈련, 인라인 학습, 지시 훈련이라는 네 가지 NLP 피니튜닝 및 프롬프팅 기법을 평가한다.
• 성능는 1에서 1000개의 레이블이 부여된 샘플까지 증가하는 훈련 세트 크기의 변화에 따라 측정되며, 변동성을 고려하기 위해 통계 분석을 수행한다.
• 세 가지 데이터셋—SST-2, MRPC, BoolQ—는 다양한 작업 복잡도를 반영하여 다양한 NLP 과제 간 비교를 가능하게 한다.
• 연구자들은 대형 모델(예: LLaMA-2, ChatGPT)과 소형 모델(예: Flan-T5)을 모두 포함한 일관된 평가 프로토콜을 사용하여 공정한 비교를 확보한다.
• 결과는 전문화된 모델가 일반 모델를 능가하는 데에 도달하는 절점(브레이크이븐 포인트)을 분석하며, 변동성을 고려하기 위해 신뢰구간을 사용한다.
• 자원 사용을 최소화하기 위해 컴퓨팅 효율성을 우선시하였으며, 훈련 스텝 수를 줄이고, 프롬프팅 및 지시 훈련에서 공유된 모델 가중치를 사용하여 자원 소비를 제한한다.

Figure 1: The impact of changing training dataset size is observed and the break-even points are identified, taking performance variance into consideration.

실험 결과

연구 질문

• RQ1 전문화된 소형 언어 모델이 텍스트 분류에서 일반 대형 언어 모델과 성능이 동일하거나 뛰어나지 못하도록 하기 위해 필요한 레이블이 부여된 샘플의 수는 어느 정도인가?
• RQ2 다양한 프롬프팅 및 피니튜닝 기법에서 작업 복잡도에 따라 필요한 레이블이 부여된 샘플 수는 어떻게 변하는가?
• RQ3 성능 변동성이 일반 모델을 신뢰성 있게 능가하기 위해 필요한 레이블이 부여된 샘플 수를 얼마나 증가시키는가?
• RQ4 다양한 데이터셋 크기에서 다양한 피니튜닝 및 프롬프팅 전략(예: 지시 훈련 대비 피니튜닝)의 자료 효율성은 어떻게 비교되는가?

주요 결과

• 전문화된 소형 언어 모델은 작업 복잡도에 따라 100~1000개의 레이블이 부여된 샘플만으로도 일반 대형 언어 모델과 동등하거나 뛰어난 성능을 달성한다.
• 성능 변동성은 필요한 레이블이 부여된 샘플 수를 25%에서 200%까지 증가시키며, 이는 견고한 평가 프로토콜의 중요성을 강조한다.
• 지시 훈련은 제한된 데이터에서도 일관되게 높은 이점을 제공하며, 자료 효율성 면에서 다른 접근법을 능가한다.
• BoolQ와 같은 더 복잡한 작업에서는 Flan-T5와 같은 소형 모델가 더 높은 변동성을 보이며, 성능을 안정화시키기 위해 더 신중한 프롬프트 엔지니어링(예: 인라인 예제 수를 줄이는 것)이 필요하다.
• 절점(브레이크이븐 포인트)은 균일하지 않다: 간단한 작업(예: SST-2)에서는 낮고, 복잡한 작업(예: BoolQ)에서는 높으며, 더 큰 모델은 복잡한 작업에서 더 안정적인 결과를 보인다.
• 프롬프팅 및 인라인 학습은 다양한 모델 크기에서 변동성이 낮지만, 피니튜닝된 모델에 비해 데이터 크기 증가에 대한 민감도가 낮다.

Figure 2: The impact of varying size of available labelled training samples (in logarithmic fashion) on the performance of fine-tuning, prompting, in-context learning and instruction-tuning approaches, reported using F1 macro and its standard deviation. Although the impact is dataset dependent (with