[论文解读] Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts

Joel Jang, Seonghyeon Ye+1 more|arXiv (Cornell University)|Sep 26, 2022

Topic Modeling被引用 32

一句话总结

本文显示，较大的语言模型在带否定的提示上表现更差，揭示了逆向扩展定律，并在理解否定方面与人类表现存在很大差距。

ABSTRACT

Previous work has shown that there exists a scaling law between the size of Language Models (LMs) and their zero-shot performance on different downstream NLP tasks. In this work, we show that this phenomenon does not hold when evaluating large LMs on tasks with negated prompts, but instead shows an inverse scaling law. We evaluate 9 different tasks with negated prompts on (1) pretrained LMs (OPT & GPT-3) of varying sizes (125M - 175B), (2) LMs further pretrained to generalize to novel prompts (InstructGPT), (3) LMs provided with few-shot examples, and (4) LMs fine-tuned specifically on negated prompts; all LM types perform worse on negated prompts as they scale and show a huge performance gap between the human performance when comparing the average score on both original and negated prompts. By highlighting a critical limitation of existing LMs and methods, we urge the community to develop new approaches of developing LMs that actually follow the given instructions. We provide the code and the datasets to explore negated prompts at https://github.com/joeljang/negated-prompts-for-llms

研究动机与目标

• 评估LM规模如何影响对提示中否定的理解。
• 评估指令遵循改进（InstructGPT, T0）是否缓解否定问题。
• 测试上下文学习和微调作为否定提示的潜在解决方法。
• 将LM在否定提示上的表现与人类表现进行比较，以量化差距。

提出的方法

• 构建9个数据集，覆盖常识推理、句子完成和问答，包含原始提示和否定提示（每个数据集300个样本）。
• 在125M到175B规模范围内评估预训练的LM（OPT、GPT-3）。
• 考察指令遵循改进（T0、InstructGPT）、与OPT的上下文学习（ICL）以及对否定提示的微调（FT）。
• 进行人类评估（3项任务），参与者为13岁青少年进行比较。
• 公开提供并分析关于否定提示的最终数据和代码。

实验结果

研究问题

• RQ1 LM规模是否能提升对提示中否定的理解（扩展行为）？
• RQ2 指令遵循模型是否在否定理解方面超越基础LM？
• RQ3 ICL或FT是否能缓解否定理解问题，同时不过度损害原始任务的表现？
• RQ4 在相同提示下，LM对否定的理解与人类表现相比如何？

主要发现

• 扩展规模带来逆向扩展：在所有任务中，较大的LM在否定提示上的表现更差。
• 即便是指令遵循改进也存在否定理解问题，虽然有一定改进但未解决否定。
• 在某些情形下ICL有帮助，而FT提高了对否定的理解，但会降低原始任务的表现（零和效应）。
• 在否定提示上，LM与人类表现之间存在较大差距，合并比较约为31.3%。