[论文解读] Data Selection for Fine-tuning Large Language Models Using Transferred Shapley Values

Stephanie Schoch, Ritwick Mishra+1 more|arXiv (Cornell University)|Jun 16, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

该论文提出TS-DShapley，一种通过基于采样的聚合和在目标模型表示上训练的轻量级分类器，利用转移Shapley值实现大语言模型微调中高效计算的数据选择方法。该方法实现了最先进性能，在仅使用2%数据的情况下，使RoBERTa和DistilBERT的准确率相比完整微调数据集最高提升3.4%。

ABSTRACT

Although Shapley values have been shown to be highly effective for identifying harmful training instances, dataset size and model complexity constraints limit the ability to apply Shapley-based data valuation to fine-tuning large pre-trained language models. To address this, we propose TS-DShapley, an algorithm that reduces computational cost of Shapley-based data valuation through: 1) an efficient sampling-based method that aggregates Shapley values computed from subsets for valuation of the entire training set, and 2) a value transfer method that leverages value information extracted from a simple classifier trained using representations from the target language model. Our experiments applying TS-DShapley to select data for fine-tuning BERT-based language models on benchmark natural language understanding (NLU) datasets show that TS-DShapley outperforms existing data selection methods. Further, TS-DShapley can filter fine-tuning data to increase language model performance compared to training with the full fine-tuning dataset.

研究动机与目标

• 解决大规模语言模型微调中精确Shapley值计算的高计算成本问题。
• 通过将简单代理模型的值估计结果转移到主模型，减少数据估值过程中昂贵的模型重训练需求。
• 通过聚合小数据子集的Shapley值，实现可扩展的数据选择，以支持微调过程。
• 通过基于Shapley的估值识别并过滤掉有害的训练样本，从而提升模型性能。

提出的方法

• 提出一种基于采样的方法，在训练数据的小型随机子集上计算Shapley值，并通过聚合估计完整数据集的Shapley值。
• 引入一种值转移机制，使用在目标语言模型表示上训练的线性分类器，无需重训练主模型即可估计数据值。
• 利用代理模型的Shapley值估计结果，识别并移除低价值、可能有害的训练样本。
• 采用多条采样链以提升估计的稳定性和准确性，尤其在子集规模较小时效果显著。
• 将从代理模型中推导出的最优数据移除索引应用于目标模型的微调过程。
• 利用目标模型的预训练嵌入（如RoBERTa、DistilBERT）作为代理分类器的输入特征，提升迁移能力与性能。

实验结果

研究问题

• RQ1 能否通过高效的采样和值转移，使基于Shapley的数据估值在大规模语言模型微调中实现可扩展性？
• RQ2 在目标模型表示上使用简单线性分类器是否相比其他嵌入方法能提升数据估值的准确性？
• RQ3 与完整微调相比，使用转移Shapley值进行数据选择能在多大程度上提升下游任务性能？
• RQ4 采样超参数（子集大小和链数）如何影响数据选择过程的性能？

主要发现

• TS-DShapley在基准自然语言理解任务上优于现有数据选择基线方法，甚至优于完整微调数据集的表现。
• 仅使用2%的训练数据进行Shapley值估计，TS-DShapley在QQP数据集上使DistilBERT的性能相比完整微调提升3.4%。
• 在相同数据集上，RoBERTa使用TS-DShapley相比完整微调实现了1.3%的性能提升。
• 当子集大小超过训练集的2%时，采样链数量与性能之间表现出强烈的正相关性（r = 0.94）。
• 使用目标语言模型的表示作为代理分类器的输入，其数据选择性能始终优于GloVe及其他预训练嵌入。
• 该方法成功识别并移除了有害样本，从而提升了微调后模型的泛化能力和鲁棒性。