[论文解读] Can language models learn from explanations in context?

Andrew K. Lampinen, Ishita Dasgupta+7 more|arXiv (Cornell University)|Apr 5, 2022

Topic Modeling被引用 15

一句话总结

本文研究了在输入输出示例之外引入答案解释是否能提升语言模型（LMs）在少样本上下文学习中的表现。基于40个多样化且具有挑战性的任务，这些任务配有由人工标注的解释和对照条件，作者发现，尤其是经过人工调优的解释，能显著提升大型语言模型的性能，即使在不进行微调的情况下也如此，表明解释有助于模型更有效地推断任务原理。

ABSTRACT

Language Models (LMs) can perform new tasks by adapting to a few in-context examples. For humans, explanations that connect examples to task principles can improve learning. We therefore investigate whether explanations of few-shot examples can help LMs. We annotate questions from 40 challenging tasks with answer explanations, and various matched control explanations. We evaluate how different types of explanations, instructions, and controls affect zero- and few-shot performance. We analyze these results using statistical multilevel modeling techniques that account for the nested dependencies among conditions, tasks, prompts, and models. We find that explanations can improve performance -- even without tuning. Furthermore, explanations hand-tuned for performance on a small validation set offer substantially larger benefits, and building a prompt by selecting examples and explanations together substantially improves performance over selecting examples alone. Finally, even untuned explanations outperform carefully matched controls, suggesting that the benefits are due to the link between an example and its explanation, rather than lower-level features. However, only large models benefit. In summary, explanations can support the in-context learning of large LMs on challenging tasks.

研究动机与目标

• 研究在少样本提示中包含答案解释是否能提升语言模型在具有挑战性任务上的表现。
• 确定解释带来的性能提升是否源于其与示例之间的语义关联，还是源于低层级的语言特征。
• 评估不同类型的解释、指令以及对照条件对零样本和少样本学习的影响。
• 评估解释带来的性能提升是否可在不同规模的模型间扩展，特别是在大型模型中。
• 开发并发布一个包含40个多样化、具有挑战性的任务的新基准，配有由人工标注的解释和对照条件。

提出的方法

• 为40个多样化且具有挑战性的NLP任务人工标注了答案解释，并配对了对照解释，以隔离解释内容本身的影响。
• 设计了多种少样本提示变体：仅示例、示例+解释、示例+指令，以及示例+对照条件。
• 在所有提示变体下，对多个大型语言模型（参数规模从1B到280B）进行了零样本和少样本设置下的评估。
• 采用分层统计多水平建模方法，以考虑任务、提示、条件和模型之间的嵌套依赖关系。
• 利用一个小的验证集筛选出表现优异的解释，以优化提示以实现最大性能提升。
• 将解释与对照条件（如打乱的解释、非解释性文本、非指令性内容）进行比较，以隔离因果效应。

实验结果

研究问题

• RQ1 在少样本提示中加入答案解释是否能提升大型语言模型在少样本零样本学习中的表现？
• RQ2 性能提升是源于示例与解释之间的语义关联，还是源于低层级的语言特征？
• RQ3 人工调优的解释是否比未调优或随机选择的解释带来更大的性能提升？
• RQ4 解释带来的益处是否随模型规模扩大而扩展，还是仅限于大型模型？
• RQ5 同时选择示例和解释是否能比仅选择示例带来更优的性能？

主要发现

• 解释显著提升了大型语言模型（例如280B参数模型）的少样本学习性能，即使在不进行任何调优的情况下也如此。
• 未调优的解释优于精心匹配的对照条件，表明其优势源于示例与解释之间的语义关联，而非表面语言特征。
• 通过小验证集筛选出的人工调优解释，相比未调优解释，带来了显著更大的性能提升。
• 同时选择示例和解释可带来显著优于仅选择示例的性能表现。
• 只有大型语言模型（≥7B参数）从解释中受益；较小的模型未表现出显著性能提升。
• 性能提升在多样化且具有挑战性的任务中均表现稳健，包括逻辑推理、常识推理和语言理解任务。