[论文解读] Instruction Tuning for Large Language Models: A Survey

Shengyu Zhang, Linfeng Dong+9 more|arXiv (Cornell University)|Aug 21, 2023

Topic Modeling被引用 96

一句话总结

对大型语言模型的指令微调（IT）的综合综述，涵盖方法、数据集、模型、多模态扩展、领域适应、效率、评估与批评。

ABSTRACT

This paper surveys research works in the quickly advancing field of instruction tuning (IT), which can also be referred to as supervised fine-tuning (SFT)\footnote{In this paper, unless specified otherwise, supervised fine-tuning (SFT) and instruction tuning (IT) are used interchangeably.}, a crucial technique to enhance the capabilities and controllability of large language models (LLMs). Instruction tuning refers to the process of further training LLMs on a dataset consisting of extsc{(instruction, output)} pairs in a supervised fashion, which bridges the gap between the next-word prediction objective of LLMs and the users' objective of having LLMs adhere to human instructions. In this work, we make a systematic review of the literature, including the general methodology of SFT, the construction of SFT datasets, the training of SFT models, and applications to different modalities, domains and application, along with analysis on aspects that influence the outcome of SFT (e.g., generation of instruction outputs, size of the instruction dataset, etc). We also review the potential pitfalls of SFT along with criticism against it, along with efforts pointing out current deficiencies of existing strategies and suggest some avenues for fruitful research. Project Page: github.com/xiaoya-li/Instruction-Tuning-Survey

研究动机与目标

• 描述通用 IT 流程及其动机，作为将下一个词预测与指令遵循之间的桥梁。
• 综述常用的 IT 数据集及其构建方法。
• 回顾具有代表性的指令微调模型及其训练设置。
• 检视跨领域和应用的多模态 IT 数据集与方法。
• 讨论 IT 的效率、评估、批评及未来方向。

提出的方法

• 呈现包含指令、可选输入和目标输出的标准 IT 流程。
• 解释两种主要数据收集途径：带注释的数据集变换与通过大型语言模型生成。
• 编目主要 IT 数据集及其特点（例如 Natural Instructions、P3、xP3、Flan 2021、Unnatural Instructions、Self-Instruct、Evol-Instruct、LIMA、Super-Natural Instructions、Dolly、OpenAssistant Conversations、Baize）。
• 总结广泛使用的 IT 调整模型及其微调设置（SFT 与 RLHF 类似步骤）。
• 描述多模态 IT 的扩展及用于图像、语音、视频的数据集。
• 回顾效率提升与评估指标，以及批评与未解决的问题。

实验结果

研究问题

• RQ1 构建 IT 指令数据集所采用的核心方法有哪些？
• RQ2 指令微调模型在显著基准和任务上如何比较？
• RQ3 存在于大型语言模型中的 IT 的多模态与领域特定适应有哪些？
• RQ4 IT 工作流程中的主要效率关注点及提出的解决办法是什么？
• RQ5 关于 IT 真正学习任务而非表面模式化的批评有哪些？

主要发现

• IT 数据集在规模和来源上存在差异，示例从数万到数百万条实例，且包括人工创建与模型生成的内容。
• 突出 IT 模型包括 InstructGPT、BLOOMZ、Flan-T5、Alpaca、Vicuna、GPT-4-LLM、Claude、WizardLM、Evol-Instruct、LIMA，以及基于 OpenAssistant 的变体，每种都有不同的微调管线，通常结合 SFT 和 RLHF 类优化。
• IT 通常提升对用户指令的对齐和可控性，在多次自动化和人类评估中在毒性降低、事实性和指令遵循方面取得显著提升。
• 多轮对话和多模态 IT 努力将指令遵循能力扩展到对话和非文本模态，尽管在效率和对未见任务的泛化方面仍存在挑战。
• 批评包括对目标行为覆盖有限、依赖表面模式，以及对超越格式与提示的真正任务理解的担忧。