[論文レビュー] How to Train Data-Efficient LLMs

Noveen Sachdeva, Benjamin Coleman+7 more|arXiv (Cornell University)|Feb 15, 2024

Advanced Data Storage Technologies被引用数 4

ひとこと要約

本論文では、データ品質とカバレッジの両面から大規模言語モデル（LLM）の事前学習におけるデータ効率を向上させるために、Ask-LLM と密度サンプリングを提案する。Ask-LLM は、小さなインstructチューニング済み LLM を用いて訓練例の品質をスコア化し、90% のデータが削除された状態でも、全データ学習を上回る性能を達成するとともに、最大70%速く収束する。

ABSTRACT

The training of large language models (LLMs) is expensive. In this paper, we study data-efficient approaches for pre-training LLMs, i.e., techniques that aim to optimize the Pareto frontier of model quality and training resource/data consumption. We seek to understand the tradeoffs associated with data selection routines based on (i) expensive-to-compute data-quality estimates, and (ii) maximization of coverage and diversity-based measures in the feature space. Our first technique, Ask-LLM, leverages the zero-shot reasoning capabilities of instruction-tuned LLMs to directly assess the quality of a training example. To target coverage, we propose Density sampling, which models the data distribution to select a diverse sample. In our comparison of 19 samplers, involving hundreds of evaluation tasks and pre-training runs, we find that Ask-LLM and Density are the best methods in their respective categories. Coverage sampling can recover the performance of the full data, while models trained on Ask-LLM data consistently outperform full-data training -- even when we reject 90% of the original dataset, while converging up to 70% faster.

研究の動機と目的

• パワー則スケーリングに起因する限界効果の低下に起因する、大規模言語モデル（LLM）の事前学習における高い計算コストとデータコストを低減すること。
• LLM 事前学習におけるデータ効率性を高めるために、データ品質の推定とカバレッジの最大化のどちらがより優れた成果を上げるかを調査すること。
• 現実世界の LLM 学習において、高コストな品質ベースのサンプリングと安価なカバレッジベースのサンプリングのトレードオフを評価すること。
• データキュレーションが、モデルの品質とデータ／リソース消費量のパラメーターフロンティアを改善できるかを検証すること。
• 複数のモデルサイズと評価タスクをカバーする19種類のサンプリング戦略を用いた大規模な実証的ベンチマークを提供すること。

提案手法

• 情報量と品質に基づいて訓練例をスコア化するデータ選択法である Ask-LLM を提案。例として、Flan-T5-XL などのゼロショット推論能力を持つインストラクションチューニング済み LLM を用いる。
• 潜在的特徴分布をモデル化して多様性と代表性のあるサンプルを選択する、カバレッジ指向のアプローチである密度サンプリングを実装する。
• Ask-LLM において、データ品質の代理指標としてパープレキシティを用い、低いパープレキシティがより高い品質を示すものとする。
• T5-Large（800M）および T5-Small（60M）モデルを、19種類の異なるサンプリング戦略を用いて、キュレーションされたデータサブセットで学習する。
• 微調整後、111の下流 NLP タスクで全モデルを評価し、性能と収束速度の包括的比較を可能にする。
• 収束速度、サンプラー間の相関関係、およびサンプリングコストの下流性能への影響を分析することで、データ効率の主な要因を特定する。

Figure 1 : Data-efficient pre-training run of T5-Large ( $800$ M) using Ask-LLM with Flan-T5-XL as the data quality scorer. Training on $60$ % of the original dataset, Ask-LLM is able to train T5-Large both better and $70$ % faster, compared to training on $100$ % of the dataset.

実験結果

リサーチクエスチョン

• RQ1 LLM を用いた品質ベースのデータ選択は、モデル性能と学習速度の両面で、全データ学習を上回ることができるか？
• RQ2 カバレッジベースのサンプリング（例：密度）は、全データ学習の性能を回復できるか？
• RQ3 データ品質とカバレッジのトレードオフが、異なるモデルサイズとサンプリングレートにおいて、モデル性能に与える影響は何か？
• RQ4 品質推定の計算コストは、単純なカバレッジヒューリスティクスに比べて性能向上の恩恵を上回るのか？
• RQ5 データキュレーション技術は、LLM 事前学習におけるモデル品質とデータ／リソース消費量のパラメーターフロンティアをシフトさせることができるか？

主な発見

• Ask-LLM は、全データ学習を常に上回り、訓練データの90%が削除された状態でも、下流タスクの性能が優れている。
• Ask-LLM を用いて学習されたモデルは、全データセットで学習されたモデルよりも最大70%速く収束するが、使用するデータ量は著しく少ない。
• 密度サンプリングは、データ分布における潜在的トピックのカバレッジを最大化することで、全データ学習の性能を回復する。
• Ask-LLM の小さなプロキシモデル（60Mパラメータ）は、大多数の既存のデータキュレーションベースラインを上回る結果を達成している。
• Ask-LLM の性能は、全データ学習を上回っており、データ量の増加だけではなく、データ品質のフィルタリングが優位性を発揮できることを示している。
• 本研究では、データキュレーションが、モデル品質とデータ／リソース消費量のパラメーターフロンティアをシフトさせられることを実証しており、より少ないデータと計算で高品質なモデルを実現可能である。

Figure 2 : While there is no inherent tradeoff between coverage and quality, samplers target these metrics on a spectrum (up and to the left indicates a more aggressive prioritization). See Appendix B for a description of the plotted samplers.