[论文解读] Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners

Seonghyeon Ye, Doyoung Kim+3 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用 10

一句话总结

本文提出了一种名为 Flipped Learning 的元训练方法，该方法训练语言模型从输入-标签对中生成任务指令，从而提升零样本泛化能力，尤其在未见过的标签上表现更优。11B 参数的 Flipped 模型在 14 个 BIG-Bench 任务上的平均表现优于 T0-11B 8.4%，也优于 3-shot GPT-3（175B）9.7%，在新标签对上的 F1 值最高提升达 20%。

ABSTRACT

Meta-training, which fine-tunes the language model (LM) on various downstream tasks by maximizing the likelihood of the target label given the task instruction and input instance, has improved the zero-shot task generalization performance. However, meta-trained LMs still struggle to generalize to challenging tasks containing novel labels unseen during meta-training. In this paper, we propose Flipped Learning, an alternative method of meta-training which trains the LM to generate the task instruction given the input instance and label. During inference, the LM trained with Flipped Learning, referred to as Flipped, selects the label option that is most likely to generate the task instruction. On 14 tasks of the BIG-bench benchmark, the 11B-sized Flipped outperforms zero-shot T0-11B and even a 16 times larger 3-shot GPT-3 (175B) on average by 8.4% and 9.7% points, respectively. Flipped gives particularly large improvements on tasks with unseen labels, outperforming T0-11B by up to +20% average F1 score. This indicates that the strong task generalization of Flipped comes from improved generalization to novel labels. We release our code at https://github.com/seonghyeonye/Flipped-Learning.

研究动机与目标

• 为解决元训练语言模型在新标签任务上零样本泛化能力差的问题。
• 通过重新思考标准元训练范式（即从指令生成标签）来提升标签泛化能力。
• 开发一种更高效、更有效的零样本学习方法，减少对已见标签形式的过拟合。
• 证明在训练过程中对标签进行条件控制可增强对未见任务和标签变体的泛化能力。

提出的方法

• Flipped Learning 训练语言模型根据输入样本和正确标签预测任务指令，反转了标准生成方向。
• 该方法使用标准的交叉熵损失，以最大化给定输入-标签对下正确指令的概率。
• 应用反似然损失，以抑制模型为错误标签选项生成正确指令，从而提升判别能力。
• 在推理阶段，模型选择最可能生成该任务指令的标签，实现无需示例的零样本预测。
• 该方法应用于基于 T5 的模型，仅使用 T0 所需计算量的约 5% 和一半数量的数据集，因此高效。
• 该方法被扩展至 52 个数据集（Flipped+），并在 MMLU 上进行评估，表现出色，且数据需求极少。

实验结果

研究问题

• RQ1 训练语言模型从输入和标签生成指令，是否能提升在未见任务上的零样本泛化能力？
• RQ2 Flipped Learning 是否能减少对特定标签形式（如 'yes/no' 与 'agree/disagree'）的过拟合？
• RQ3 与标准元训练方法（如 Direct）相比，Flipped Learning 在新标签对上的表现如何？
• RQ4 能否用更小的模型通过 Flipped Learning 超越 GPT-3（175B）这类大模型在零样本设置下的表现？
• RQ5 在 Flipped Learning 中增加训练数据集数量，是否能进一步提升在 MMLU 等挑战性基准上的性能？

主要发现

• 11B 参数的 Flipped 模型在 14 个 BIG-Bench 任务上的平均表现优于 T0-11B 8.4%，证明其具备更强的零样本泛化能力。
• 尽管是零样本模型且参数量远小于 GPT-3（175B），Flipped 模型在平均表现上仍优于 3-shot GPT-3（175B）9.7%。
• 在涉及新标签对的任务中（如 'yes/no' 与 'agree/disagree'），Flipped 模型的 F1 值相比 T0-11B 最高提升 20%，证实其标签泛化能力显著增强。
• Flipped+（在 52 个数据集上训练）在 MMLU 上表现优异，与 FLAN-T5（使用 10 倍数据集）的准确率差距缩小了 10%。
• 该模型在 14 个常见 NLP 任务上实现了当前最优的零样本性能，平均优于所有基线模型。
• 该方法高效：Flipped 模型仅使用 T0 所需计算量的 5% 和一半数量的数据集，却取得了更优结果。