[論文レビュー] Comparing Specialised Small and General Large Language Models on Text Classification: 100 Labelled Samples to Achieve Break-Even Performance

Branislav Pecher, Ivan Srba+1 more|arXiv (Cornell University)|Feb 20, 2024

Science Education and Pedagogy被引用数 4

ひとこと要約

この論文は、テキスト分類において、特化型の小さな言語モデルが一般の大規模言語モデルを上回るのに必要なラベル付きサンプルの数を調査している。3つの複雑さの異なるデータセットを用い、微調整、プロンプト設定、コンテキスト内学習、指示微調整の4つの手法を適用することで、特化型モデルが一般モデルに並ぶか上回る「ブレークイーブン・ポイント」を同定した。一般的には100～1000件のラベル付き例が必要であり、性能のばらつきが25%～200%の増加を引き起こすことがある。

ABSTRACT

When solving NLP tasks with limited labelled data, researchers typically either use a general large language model without further update, or use a small number of labelled samples to tune a specialised smaller model. In this work, we answer an important question -- how many labelled samples are required for the specialised small models to outperform general large models, while taking the performance variance into consideration. By observing the behaviour of fine-tuning, instruction-tuning, prompting and in-context learning on 8 language models, we identify such performance break-even points across 8 representative text classification tasks of varying characteristics. We show that the specialised models often need only few samples (on average $100$) to be on par or better than the general ones. At the same time, the number of required labels strongly depends on the dataset or task characteristics, with fine-tuning on binary datasets requiring significantly more samples. When performance variance is taken into consideration, the number of required labels increases on average by $100 - 200\%$. Finally, larger models do not consistently lead to better performance and lower variance, with 4-bit quantisation having negligible impact.

研究の動機と目的

• 特化型の小さな言語モデルが一般の大規模言語モデルと同等または優れた性能を達成するために必要なラベル付きサンプルの数を特定すること。
• 微調整、プロンプト設定、コンテキスト内学習、指示微調整の4つのデータ効率の高いNLP手法が、さまざまな量のラベル付きデータに対して与える影響を比較すること。
• 特化型モデルが一般モデルを上回るようになるブレークイーブン・ポイントを特定し、性能のばらつきを考慮すること。
• タスクの複雑さと結果のばらつきが、必要なラベル付きサンプル数に与える影響を評価すること。

提案手法

• 本研究では、3つのテキスト分類データセット（SST-2、MRPC、BoolQ）を用い、微調整、プロンプト微調整、コンテキスト内学習、指示微調整の4つのNLPの微調整およびプロンプト設定手法を評価した。データセットは複雑さの面で増加する。
• 性能は、1～1000件のラベル付きサンプルという増加する訓練データセットのサイズを対象に測定され、ばらつきを考慮するための統計的分析が実施された。
• SST-2、MRPC、BoolQという3つのデータセットは、タスクの複雑さが異なるため、さまざまなNLP課題との比較が可能である。
• 大規模モデル（例：LLaMA-2、ChatGPT）と小規模モデル（例：Flan-T5）を対象に、モデル間の公平な比較を実現するため、一貫した評価プロトコルを採用した。
• ブレークイーブン・ポイント（特化型モデルが一般モデルを上回る点）を分析し、ばらつきを考慮するための信頼区間を用いた。
• 計算効率を最優先するために、訓練ステップ数を削減し、プロンプト設定と指示微調整の間で共有されるモデル重みを用いることでリソース使用量を制限した。

Figure 1: The impact of changing training dataset size is observed and the break-even points are identified, taking performance variance into consideration.

実験結果

リサーチクエスチョン

• RQ1 特化型の小さな言語モデルがテキスト分類において、一般の大規模言語モデルと同等または優れた性能を達成するためのラベル付きサンプルの数はどの程度か？
• RQ2 さまざまなプロンプト設定および微調整手法において、タスクの複雑さがラベル付きサンプルの必要数に与える影響はどのように変化するか？
• RQ3 性能のばらつきが、一般モデルを信頼性高く上回るために必要なラベル付きサンプル数をどの程度増加させるか？
• RQ4 微調整およびプロンプト設定戦略（例：指示微調整 vs. 微調整）は、さまざまなデータセットサイズにおいて、どの程度のデータ効率で比較されるか？

主な発見

• 特化型の小さな言語モデルは、タスクの複雑さに応じて、100～1000件のラベル付きサンプルで、一般の大規模言語モデルと同等または優れた性能を達成する。
• 性能のばらつきは、必要なラベル付きサンプル数を25%～200%増加させることがあり、きめ細やかな評価プロトコルの重要性を示している。
• 指示微調整は、限られたデータでも一貫して高い効果を示し、他の手法に比べてデータ効率が優れている。
• BoolQのようなより複雑なタスクでは、Flan-T5のような小規模モデルがより高いばらつきを示し、性能を安定化させるために、より注意深くプロンプト設計（例：コンテキスト例の数を減らす）が求められる。
• ブレークイーブン・ポイントは一様ではない：単純なタスク（例：SST-2）では低い一方、複雑なタスク（例：BoolQ）では高い。また、大規模モデルは複雑なタスクにおいてより安定した結果を示す。
• プロンプト設定とコンテキスト内学習は、モデルサイズに関係なくばらつきが低く抑えられるが、微調整モデルとは異なり、データ量の増加に対して性能が敏感ではない。

Figure 2: The impact of varying size of available labelled training samples (in logarithmic fashion) on the performance of fine-tuning, prompting, in-context learning and instruction-tuning approaches, reported using F1 macro and its standard deviation. Although the impact is dataset dependent (with