[论文解读] How to Train Data-Efficient LLMs

Noveen Sachdeva, Benjamin Coleman+7 more|arXiv (Cornell University)|Feb 15, 2024

Advanced Data Storage Technologies被引用 4

一句话总结

本文提出 Ask-LLM 和密度采样（Density sampling），通过分别优先考虑数据质量和覆盖度，提升大语言模型（LLM）预训练的数据效率。Ask-LLM 使用一个小型指令微调的 LLM 来评估训练样本的质量，使模型即使在去除 90% 数据的情况下，仍能超越全量数据训练的性能，且收敛速度最快可提升 70%。

ABSTRACT

The training of large language models (LLMs) is expensive. In this paper, we study data-efficient approaches for pre-training LLMs, i.e., techniques that aim to optimize the Pareto frontier of model quality and training resource/data consumption. We seek to understand the tradeoffs associated with data selection routines based on (i) expensive-to-compute data-quality estimates, and (ii) maximization of coverage and diversity-based measures in the feature space. Our first technique, Ask-LLM, leverages the zero-shot reasoning capabilities of instruction-tuned LLMs to directly assess the quality of a training example. To target coverage, we propose Density sampling, which models the data distribution to select a diverse sample. In our comparison of 19 samplers, involving hundreds of evaluation tasks and pre-training runs, we find that Ask-LLM and Density are the best methods in their respective categories. Coverage sampling can recover the performance of the full data, while models trained on Ask-LLM data consistently outperform full-data training -- even when we reject 90% of the original dataset, while converging up to 70% faster.

研究动机与目标

• 解决大语言模型（LLM）预训练过程中计算与数据成本高昂的问题，该问题因幂律缩放而面临收益递减。
• 探究在 LLM 预训练中，基于数据质量的估计与基于覆盖度的优化，哪种方法能带来更高的数据效率。
• 在真实 LLM 训练场景中，评估基于质量的采样与基于覆盖度的采样之间的权衡。
• 确定数据筛选是否能够提升模型质量与数据/资源消耗之间的帕累托前沿。
• 提供一个涵盖多种模型尺寸与评估任务的 19 种采样策略的大规模实证基准。

提出的方法

• 提出 Ask-LLM：一种数据筛选方法，利用具备零样本推理能力的小型指令微调 LLM（如 Flan-T5-XL）基于样本的信息量与质量进行评分。
• 实现密度采样：一种以覆盖度为导向的方法，通过建模数据的潜在特征分布，选择多样化且具代表性的样本。
• 在 Ask-LLM 中使用困惑度作为数据质量的代理指标，其中较低的困惑度表示更高的质量。
• 使用 19 种不同的采样策略，在筛选后的数据子集上训练 T5-Large（800M）和 T5-Small（60M）模型。
• 在微调后，于 111 项下游 NLP 任务上评估所有模型，实现性能与收敛速度的全面比较。
• 分析收敛速率、采样器相关性以及采样成本对下游性能的影响，以识别数据效率的关键驱动因素。

Figure 1 : Data-efficient pre-training run of T5-Large ( $800$ M) using Ask-LLM with Flan-T5-XL as the data quality scorer. Training on $60$ % of the original dataset, Ask-LLM is able to train T5-Large both better and $70$ % faster, compared to training on $100$ % of the dataset.

实验结果

研究问题

• RQ1 通过 LLM 实现基于质量的数据筛选，是否能在模型性能与训练速度上超越全量数据训练？
• RQ2 基于覆盖度的采样（如密度采样）能否恢复全量数据预训练的性能？
• RQ3 在不同模型尺寸与采样率下，数据质量与覆盖度之间的权衡如何影响模型性能？
• RQ4 与更简单的覆盖度启发式方法相比，质量估计带来的计算成本是否值得？
• RQ5 数据筛选技术是否能够推动 LLM 预训练中模型质量与数据/资源消耗之间的帕累托前沿？

主要发现

• Ask-LLM 在所有情况下均优于全量数据训练，在去除 90% 训练数据后仍能实现更优的下游性能。
• 使用 Ask-LLM 训练的模型收敛速度比全量数据训练快最多 70%，尽管使用的数据量显著减少。
• 密度采样通过最大化数据分布中潜在主题的覆盖度，成功恢复了全量数据预训练的性能。
• Ask-LLM 中使用的微型代理模型（60M 参数）在性能上优于大多数已有的数据筛选基线方法。
• Ask-LLM 的性能超越了全量数据训练，表明数据质量过滤可超越单纯依赖数据量的优势。
• 本研究证明，数据筛选能够推动模型质量与数据/资源消耗之间的帕累托前沿，使更高质量的模型在更少数据与计算资源下实现。

Figure 2 : While there is no inherent tradeoff between coverage and quality, samplers target these metrics on a spectrum (up and to the left indicates a more aggressive prioritization). See Appendix B for a description of the plotted samplers.