[论文解读] Instruction Following without Instruction Tuning

John K. Hewitt, Nelson F. Liu+2 more|arXiv (Cornell University)|Sep 21, 2024

Education and Technology Integration被引用 4

一句话总结

本文表明，语言模型可以通过隐式适应（如仅响应微调或在诗歌等窄领域上的单任务微调）而非显式指令微调，发展出强大的指令遵循能力。令人惊讶的是，即使仅通过修改概率分布的简单规则适配器，也能实现与完整指令微调相当的指令遵循能力，表明指令遵循能力源于最小且非目标导向的分布调整。

ABSTRACT

Instruction tuning commonly means finetuning a language model on instruction-response pairs. We discover two forms of adaptation (tuning) that are deficient compared to instruction tuning, yet still yield instruction following; we call this implicit instruction tuning. We first find that instruction-response pairs are not necessary: training solely on responses, without any corresponding instructions, yields instruction following. This suggests pretrained models have an instruction-response mapping which is revealed by teaching the model the desired distribution of responses. However, we then find it's not necessary to teach the desired distribution of responses: instruction-response training on narrow-domain data like poetry still leads to broad instruction-following behavior like recipe generation. In particular, when instructions are very different from those in the narrow finetuning domain, models' responses do not adhere to the style of the finetuning domain. To begin to explain implicit instruction tuning, we hypothesize that very simple changes to a language model's distribution yield instruction following. We support this by hand-writing a rule-based language model which yields instruction following in a product-of-experts with a pretrained model. The rules are to slowly increase the probability of ending the sequence, penalize repetition, and uniformly change 15 words' probabilities. In summary, adaptations made without being designed to yield instruction following can do so implicitly.

研究动机与目标

• 探究语言模型中的指令遵循能力是否可在无显式指令微调的情况下出现。
• 检验仅在响应上进行训练（无指令）是否能产生指令遵循行为。
• 探索在窄领域数据（如诗歌）上微调是否能隐式实现广泛指令遵循能力。
• 评估对模型输出概率分布进行简单基于规则的修改是否能引发指令遵循行为。
• 挑战指令微调是实现指令遵循能力所必需的假设。

提出的方法

• 响应微调：在LIMA数据集中仅使用响应数据对语言模型进行微调，不包含任何对应指令。
• 单任务微调：在窄领域数据（如诗歌）上进行训练，然后在多样化的指令遵循基准上进行评估。
• 基于规则的适配器：构建一个专家混合模型，其中基于规则的分布通过乘法归一化方式修改基础模型的输出概率。
• 核心公式：最终输出分布定义为 $ p_a(w\mid\mathbf{x}) = p_{\text{base}}(w\mid\mathbf{x}) p_{\text{rules}}(w\mid\mathbf{x}) / Z(\mathbf{x}) $，结合基础分布与基于规则的分布。
• 规则包括：(1) 随响应长度线性增加EOS标记的概率，(2) 对15个关键词（如'I'、'We'、'<'、'Should'）的概率进行均匀调整，(3) 对先前已生成标记的重复进行惩罚。
• 通过AlpacaEval 2胜率评估，辅以消融实验以隔离各规则的贡献。

实验结果

研究问题

• RQ1 当仅在响应上进行训练（无任何指令标记）时，语言模型中的指令遵循能力是否仍能出现？
• RQ2 在窄领域（如诗歌）上微调是否能隐式导致在分布外任务（如食谱生成）上的指令遵循？
• RQ3 一个简单且手工设计的基于规则的适配器是否能在无任何学习或微调的情况下引发指令遵循行为？
• RQ4 对语言模型输出分布的哪些特定调整足以产生指令遵循行为？
• RQ5 隐式适应在多大程度上能复现显式指令微调的能力？

主要发现

• 仅通过响应微调——即在无指令的情况下仅使用响应进行训练——在AlpacaEval 2上对指令微调模型的胜率为43%，接近50%的基准水平（表示性能相当）。
• 在诗歌数据上进行单任务微调后，模型在多样任务（包括食谱生成）上均表现出指令遵循行为，即使指令与诗歌无关。
• 基于规则的适配器（包含三个简单规则：EOS加权、均匀调整标记概率、重复惩罚）对LIMA指令微调模型的胜率为24.4%。
• 消融实验表明，每个规则均对性能有显著贡献，单独移除任一规则会使胜率降至17%以下。
• 预训练模型已能以与指令微调模型相当的水平，将正确响应排在随机响应之前，表明在微调前已存在隐式的指令-响应映射。
• 即使是最小且非目标导向的分布调整——如修改15个词的概率或惩罚重复——也能产生显著的指令遵循行为。