[论文解读] LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions

Minghao Wu, Abdul Waheed+3 more|arXiv (Cornell University)|Apr 27, 2023

Topic Modeling被引用 25

一句话总结

LaMini-LM 提出了一系列多样的小型指令微调模型（61M–7B），通过使用 2.58M 指令数据集从大型 LLMs 蒸馏而来，在更小的规模下实现具有竞争力的性能，并对幻觉和有毒性进行了分析。

ABSTRACT

Large language models (LLMs) with instruction fine-tuning demonstrate superior generative capabilities. However, these models are resource-intensive. To alleviate this issue, we explore distilling knowledge from instruction-tuned LLMs into much smaller ones. To this end, we carefully develop a large set of 2.58M instructions based on both existing and newly-generated instructions. In addition to being sizable, we design our instructions to cover a broad set of topics to ensure diversity. Extensive analysis of our instruction dataset confirms its diversity, and we generate responses for these instructions using gpt-3.5-turbo. Leveraging these instructions, we fine-tune a diverse herd of models, collectively referred to as LaMini-LM, which includes models from both the encoder-decoder and decoder-only families, with varying sizes. We evaluate the performance of our models using automatic metrics on 15 different natural language processing (NLP) benchmarks, as well as through human assessment. The results demonstrate that our proposed LaMini-LM models are comparable to competitive baselines, while being much smaller in size.

研究动机与目标

• 推动开发更小、更加高效的指令微调模型，以缓解大型语言模型对资源的需求。
• 创建一个大型、多样化的指令数据集（LaMini 指令数据集），总计 2.58M 条样本。
• 将来自 LLM 的知识蒸馏到跨架构和规模的多样化小型模型中。
• 在多个 NLP 基准上进行自动评估和人工评估的性能评估；评估幻觉和有毒性。
• 提供数据集、模型检查点和代码，以便在资源受限环境中促进进一步研究和部署。

提出的方法

• 通过整合 self-instruct、P3、FLAN、Alpaca 的来源，组建 2.58M 的指令-回应数据集，并结合 example-guided 和 topic-guided 生成，使用 gpt-3.5-turbo 进行增强。
• 通过对生成数据集上的教师（gpt-3.5-turbo）的输出进行模仿，训练小型学生模型以执行序列级（离线）蒸馏。
• 在编码器-解码器和解码器专用架构上，对一系列模型（61M–7B）进行微调，初始化来自多个来源（T5、Flan-T5、Cerebras-GPT、GPT-2/Neo/J、LLaMA）。
• 在 15 个不同的 NLP 基准上使用自动评估工具进行评估，并对 114 条面向用户的指令进行人工评估。
• 通过专门的 LaMini-Hallucination 测试集评估幻觉，通过 RealToxicityPrompts 与 OpenAI Moderation 评估有毒性。
• 分析数据集子集以及架构（编码器-解码器 vs 解码器单独）对性能的影响。

实验结果

研究问题

• RQ1 大规模蒸馏指令数据集是否能在小型模型中获得具有竞争力的性能？
• RQ2 不同模型架构和规模在蒸馏后的指令微调性能上有何影响？
• RQ3 使用指令数据集的不同子集对下游任务和人工评估有何影响？
• RQ4 与基线模型和专有模型相比，LaMini-LMs 在幻觉和有毒性方面的表现如何？

主要发现

• 许多 LaMini 模型在下游任务上与 Alpaca-7B 等基线相媲美甚至接近 LLaMA-7B，同时规模显著更小。
• 编码器-解码器的 LaMini 模型在较小规模下往往优于解码器单独的对手；LaMini-Flan-T5-248M 能达到 LLaMA-7B 的水平，LaMini-LLaMA-7B 在综合结果中优于 LLaMA-7B 和 Alpaca-7B。
• 2.58M 的 LaMini 指令数据集对性能有显著影响；来自 P3/FLAN 的子集改进下游任务，而与自我指令相关的数据提升了人工评估分数。
• 尽管有改进，但开源 LaMini 模型在幻觉处理方面仍与 GPT-3.5-turbo 存在差距，促使创建 LaMini-Hallucination 基准。
• 有毒性分析表明，编码器-解码器模型在指令微调前通常产生的输出毒性较低，但微调后趋势因架构而异，表明在不同模型族之间存在细微行为差异。