[论文解读] Cognitive Bias in Decision-Making with LLMs

Jessica Maria Echterhoff, Yao Liu+3 more|arXiv (Cornell University)|Feb 25, 2024

Big Data and Business Intelligence被引用 12

一句话总结

BiasBuster 框架检测并缓解高风险决策中 LLM 的认知偏差，使用一个 16,800 提示数据集和自我偏见消解提示。

ABSTRACT

Large language models (LLMs) offer significant potential as tools to support an expanding range of decision-making tasks. Given their training on human (created) data, LLMs have been shown to inherit societal biases against protected groups, as well as be subject to bias functionally resembling cognitive bias. Human-like bias can impede fair and explainable decisions made with LLM assistance. Our work introduces BiasBuster, a framework designed to uncover, evaluate, and mitigate cognitive bias in LLMs, particularly in high-stakes decision-making tasks. Inspired by prior research in psychology and cognitive science, we develop a dataset containing 13,465 prompts to evaluate LLM decisions on different cognitive biases (e.g., prompt-induced, sequential, inherent). We test various bias mitigation strategies, while proposing a novel method utilizing LLMs to debias their own human-like cognitive bias within prompts. Our analysis provides a comprehensive picture of the presence and effects of cognitive bias across commercial and open-source models. We demonstrate that our selfhelp debiasing effectively mitigates model answers that display patterns akin to human cognitive bias without having to manually craft examples for each bias.

研究动机与目标

• 激发对在 LLM 辅助的高风险决策中进行认知偏差审计的必要性，并将其与社会偏见区分开来。
• 开发一个以认知科学为基础、用于量化 LLM 偏差的认知偏差测试框架（BiasBuster）。
• 创建一个包含广泛的 16,800 提示的数据集，以评估跨模型的提示诱发、序列以及固有偏差。
• 评估多种偏差缓解策略，包括零-shot、少量示例（few-shot）以及自我消偏（自助/自我帮助）方法。
• 证明自助消偏可以在无需手动制作偏差特定示例的情况下降低认知偏差。

提出的方法

• 定义认知偏差类别（基于提示、固有、序列）并将它们映射到受认知科学实验启发的测试提示。
• 开发一个覆盖锚定、现状、框架呈现以及群体归因偏差的 16,800 提示数据集。
• 通过决策分布、置信度以及预期与观察选择之间的欧氏距离等指标来量化偏差。
• 比较缓解策略：零-shot、少量示例（对比/反事实）以及自助提示，即模型改写自身提示以实现自我纠偏。
• 在高风险的学生入学风格任务上对多种模型（GPT-3.5-turbo、GPT-4、Llama-2 7B/13B）进行评估。
• 提出一种自助方式：模型改写提示以消除自身回答中的偏见，并评估其影响。

实验结果

研究问题

• RQ1 LLMs 在高风险决策任务中是否表现出提示诱发、序列和固有认知偏差？
• RQ2 不同的偏差缓解策略（零-shot、少量示例、自助）如何影响各模型中的偏差发生率和决策质量？
• RQ3 LLMs 是否能够在不手动制作偏差示例的情况下有效地对自身提示进行去偏（自助）？
• RQ4 模型容量与类型如何影响对认知偏差的易感性及去偏有效性？
• RQ5 框架呈现、锚定、先入为主、现状和群体归因偏差对入学决策的相对影响是什么？

主要发现

• 认知偏差（框架呈现与群体归因）在各模型中存在，其中 GPT-4 显示框架偏差，Llama-2-7B 显示群体归因偏差。
• 少量示例缓解可能造成失败案例，并可能在开源模型中显著改变输出。
• 自助去偏在高容量模型上提升决策一致性，并且在某些情况下可将产生偏见的提示降至零；效果因模型而异。
• 自助在更高容量模型上减少先入为主/锚定效应，但低容量模型显示的改进有限。
• 模型容量对自偏去偏的有效性有显著影响；更高容量的模型实现更大的去偏成功度。
• BiasBuster 数据集使对 LLM 的认知偏差及缓解策略进行系统测试成为可能。