[论文解读] MoDS: Model-oriented Data Selection for Instruction Tuning

Qianlong Du, Chengqing Zong+1 more|arXiv (Cornell University)|Nov 27, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 MoDS，一种面向指令微调的模型导向数据选择框架，通过整合质量、覆盖度和必要性标准，筛选高质量、多样化且必要的指令数据。该框架利用质量评估模型、k-center贪心聚类算法（用于覆盖度）以及基于模型性能差距的必要性评估模型，仅选择4,000对指令数据，其性能即超越使用全部214k数据集进行微调的结果。

ABSTRACT

Instruction tuning has become the de facto method to equip large language models (LLMs) with the ability of following user instructions. Usually, hundreds of thousands or millions of instruction-following pairs are employed to fine-tune the foundation LLMs. Recently, some studies show that a small number of high-quality instruction data is enough. However, how to select appropriate instruction data for a given LLM is still an open problem. To address this problem, in this paper we present a model-oriented data selection (MoDS) approach, which selects instruction data based on a new criteria considering three aspects: quality, coverage and necessity. First, our approach utilizes a quality evaluation model to filter out the high-quality subset from the original instruction dataset, and then designs an algorithm to further select from the high-quality subset a seed instruction dataset with good coverage. The seed dataset is applied to fine-tune the foundation LLM to obtain an initial instruction-following LLM. Finally, we develop a necessity evaluation model to find out the instruction data which are performed badly in the initial instruction-following LLM and consider them necessary instructions to further improve the LLMs. In this way, we can get a small high-quality, broad-coverage and high-necessity subset from the original instruction datasets. Experimental results show that, the model fine-tuned with 4,000 instruction pairs selected by our approach could perform better than the model fine-tuned with the full original dataset which includes 214k instruction data.

研究动机与目标

• 为解决大语言模型（LLMs）微调中指令数据最优选择这一开放性问题。
• 开发一种数据选择方法，不仅考虑数据质量与多样性，还关注目标LLM的具体能力缺口。
• 通过识别最小但高影响力的指令遵循对子集，减少对大规模指令数据集的依赖。
• 通过更少但更具策略性的数据点，提升指令遵循性能。

提出的方法

• 一个质量评估模型对数据集中所有（指令，输入，输出）三元组进行打分，以筛选出高质量样本。
• 采用k-center贪心算法从高质量数据中选择多样化子集，以最大化指令空间的覆盖度。
• 将所选种子数据集用于微调目标LLM，构建初始的指令遵循模型。
• 一个必要性评估模型识别出微调后模型表现较差的指令，从而揭示能力缺口。
• 利用模型在高质量数据上的推理结果检测表现不佳的指令，并将其收集为增强数据。
• 最终数据集由种子数据与增强数据合并而成，形成高质量、广覆盖且高必要性的子集，用于再次微调。

实验结果

研究问题

• RQ1 是否一种整合了质量、覆盖度与必要性标准的模型导向数据选择策略，能在指令微调中超越传统数据选择方法？
• RQ2 与全量数据微调相比，能否通过一个小型但精心挑选的指令数据子集，实现更优的指令遵循性能？
• RQ3 基于模型性能差距选择的必要性感知数据，如何影响最终模型的指令遵循能力？
• RQ4 为有效弥补微调后LLM的能力缺口，增强数据的最优规模是多少？

主要发现

• 使用MoDS筛选出的4,000对指令数据进行微调的模型，其性能优于使用全部214k条指令数据集进行微调的模型。
• 与随机采样相比，k-center贪心算法显著提升了性能，证明其在选择多样化、高覆盖度数据方面的有效性。
• 与仅使用种子数据集相比，引入基于模型性能差距选择的增强数据，带来了显著的性能提升。
• 当使用3,000个增强数据点时，MoDS模型的胜率得分超过1.0，表明其性能优于全量数据基线。
• 当增强数据集达到3,000个样本时，性能增益趋于平稳，表明在此之后收益递减。