[论文解读] Challenging the appearance of machine intelligence: Cognitive bias in LLMs and Best Practices for Adoption

Alaina N. Talboy, Elizabeth Fuller|arXiv (Cornell University)|Apr 3, 2023

Explainable Artificial Intelligence (XAI)被引用 13

一句话总结

该论文表明了 LLMs 呈现人类认知偏差，并讨论了将偏见性推理定性为专业性的含义，呼吁教育、风险管理和最佳实践采纳指南。

ABSTRACT

Assessments of algorithmic bias in large language models (LLMs) are generally catered to uncovering systemic discrimination based on protected characteristics such as sex and ethnicity. However, there are over 180 documented cognitive biases that pervade human reasoning and decision making that are routinely ignored when discussing the ethical complexities of AI. We demonstrate the presence of these cognitive biases in LLMs and discuss the implications of using biased reasoning under the guise of expertise. We call for stronger education, risk management, and continued research as widespread adoption of this technology increases. Finally, we close with a set of best practices for when and how to employ this technology as widespread adoption continues to grow.

研究动机与目标

• 强调认知偏差，而不仅仅是算法偏差，会影响 LLM 推理。
• 展示偏见性推理如何在 AI 输出中被误认为专业知识。
• 倡导教育、风险管理和持续研究，以引导广泛采用 LLM。
• 提出在决策情境中负责任使用 LLM 的最佳实践。

提出的方法

• 回顾并综合关于人类推理中认知偏差的文献并将其映射到 LLM 行为。
• 分析当偏见性 LLM 推理被呈现为专业知识时的含义。
• 制定一套在实践中采用和部署 LLM 的最佳实践。

实验结果

研究问题

• RQ1 LLMs 是否表现出类似于人类偏置的认知偏差，这些偏差如何被识别？
• RQ2 在决策中偏见性 LLM 推理的伦理和实际影响是什么？
• RQ3 哪些最佳实践应指导 LLM 的教育、风险管理和采用？
• RQ4 组织在部署基于 LLM 的系统时如何降低与偏见相关的风险？

主要发现

• LLMs 在其推理过程中显示出认知偏差的存在。
• LLMs 的偏见性推理可能被误解为专家判断或权威性。
• 随着 LLM 采用的增长，需要更强的教育、风险管理和持续研究。
• 提出了一套在广泛部署中何时以及如何负责任地使用 LLM 的最佳实践。