[论文解读] Capturing Failures of Large Language Models via Human Cognitive Biases

Erik Jones, Jacob Steinhardt|arXiv (Cornell University)|Feb 24, 2022

Topic Modeling被引用 36

一句话总结

本文提出了一种受认知偏见启发的框架，用以在大型语言模型中引发定性失败模式，应用于 Codex、CodeGen 和 GPT-3，并展示了如错误删除文件等高影响力错误。

ABSTRACT

Large language models generate complex, open-ended outputs: instead of outputting a class label they write summaries, generate dialogue, or produce working code. In order to asses the reliability of these open-ended generation systems, we aim to identify qualitative categories of erroneous behavior, beyond identifying individual errors. To hypothesize and test for such qualitative errors, we draw inspiration from human cognitive biases -- systematic patterns of deviation from rational judgement. Specifically, we use cognitive biases as motivation to (i) generate hypotheses for problems that models may have, and (ii) develop experiments that elicit these problems. Using code generation as a case study, we find that OpenAI's Codex errs predictably based on how the input prompt is framed, adjusts outputs towards anchors, and is biased towards outputs that mimic frequent training examples. We then use our framework to elicit high-impact errors such as incorrectly deleting files. Our results indicate that experimental methodology from cognitive science can help characterize how machine learning systems behave.

研究动机与目标

• 通过检视如代码和语言模型等开放式生成系统的可靠性挑战来激发本研究。
• 引入基于认知偏见的方法学来假设并测试定性错误模式。
• 通过在 Codex、CodeGen 和 GPT-3 中引出并表征失败模式来演示该框架。
• 展示框架、锚定、可得性和属性替代偏差能够触发高影响力错误。

提出的方法

• 将认知偏见转化为提示转换，保持语义不变但触发目标性失败。
• 通过变换后功能准确性的下降来衡量模型敏感性。
• 检查输出是否显现目标失败的明确指示（例如依赖无关信息、锚定效应）。
• 对 codemodels 和 GPT-3 应用框架、锚定、可得性启发式和属性替代，以引出特定错误。
• 使用黑盒提示方法；不需要访问训练数据或模型参数。

实验结果

研究问题

• RQ1 认知偏见能否为开放式生成模型中的定性失败模式提出假设？
• RQ2 受框架、锚定、可得性和属性替代启发的提示转换是否能系统性地揭示 Codex、CodeGen 和 GPT-3 的特定失败？
• RQ3 是否能够通过本框架揭示高影响力错误（例如具有破坏性的代码行为）？

主要发现

• 在被框架化、锚定或在相关但不正确的提示下呈现时，代码生成模型（Codex 和 CodeGen）依赖于无关的提示信息。
• 锚定和可得性启发的提示使输出偏向相关解决方案或训练数据频率模式，从而降低准确性。
• 属性替代提示揭示简单启发式（例如使用函数名），从而偏向生成的解决方案。
• GPT-3 显示出与人类相似的定性框架化和锚定效应，证实在框架下估计或选择的可预测偏移。
• 该框架能够系统性地生成高影响力错误，例如在 Codex 中的文件删除，凸显了潜在的危险性失控。
• 总体而言，基于认知科学的实验方法提供了一种实用、模型无关的方式来表征开放式 ML 系统中的定性失败。