[论文解读] Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs

Shashank Gupta, Vaishnavi Shrivastava+5 more|arXiv (Cornell University)|Nov 8, 2023

Digital Mental Health Interventions被引用 9

一句话总结

该论文表明将社会人口统计学人设分配给大语言模型会在不同数据集和模型中引发显著的推理偏差，表现为显性回避和隐性错误模式，且简单的去偏提示基本无效。

ABSTRACT

Recent works have showcased the ability of LLMs to embody diverse personas in their responses, exemplified by prompts like 'You are Yoda. Explain the Theory of Relativity.' While this ability allows personalization of LLMs and enables human behavior simulation, its effect on LLMs' capabilities remains unclear. To fill this gap, we present the first extensive study of the unintended side-effects of persona assignment on the ability of LLMs to perform basic reasoning tasks. Our study covers 24 reasoning datasets, 4 LLMs, and 19 diverse personas (e.g. an Asian person) spanning 5 socio-demographic groups. Our experiments unveil that LLMs harbor deep rooted bias against various socio-demographics underneath a veneer of fairness. While they overtly reject stereotypes when explicitly asked ('Are Black people less skilled at mathematics?'), they manifest stereotypical and erroneous presumptions when asked to answer questions while adopting a persona. These can be observed as abstentions in responses, e.g., 'As a Black person, I can't answer this question as it requires math knowledge', and generally result in a substantial performance drop. Our experiments with ChatGPT-3.5 show that this bias is ubiquitous - 80% of our personas demonstrate bias; it is significant - some datasets show performance drops of 70%+; and can be especially harmful for certain groups - some personas suffer statistically significant drops on 80%+ of the datasets. Overall, all 4 LLMs exhibit this bias to varying extents, with GPT-4-Turbo showing the least but still a problematic amount of bias (evident in 42% of the personas). Further analysis shows that these persona-induced errors can be hard-to-discern and hard-to-avoid. Our findings serve as a cautionary tale that the practice of assigning personas to LLMs - a trend on the rise - can surface their deep-rooted biases and have unforeseeable and detrimental side-effects.

研究动机与目标

• 调查人设分配是否会影响大语言模型在多样化任务中的推理能力。
• 量化 19 种社会人口统计学人设在 24 个推理数据集中的偏见。
• 描述偏见的表现形式（显性回避 vs.隐性错误）及其在模型和数据集间的变异性。
• 评估基于提示的去偏策略及其在缓解人设诱发偏见方面的有效性。

提出的方法

• 通过系统提示为四个大语言模型（ChatGPT-3.5 变体、GPT-4-Turbo、Llama-2-70b-chat）分配人设。
• 在涵盖数学、法律、医学、伦理等领域的 24 个推理数据集上进行评估。
• 使用 19 种人设覆盖 5 个社会-人口统计群体，进行三种人设指令变体的零-shot 提示。
• 使用 Wilson 置信区间将与 Human 基线和 Avg. Human 基线的统计显著性差异进行衡量。
• 通过比较在共享且非回避问题上的表现以及跨数据集类别的表现，分析显性回避和隐性偏见。
• 为了考虑解码变异性，对每个人设/数据集对的结果进行 3 次运行的平均。

实验结果

研究问题

• RQ1 人设分配是否会在多样数据集的大语言模型推理中引入性能差异？
• RQ2 在人设诱发的偏见在社会人口维度上的普遍性如何，且随模型和数据集不同而有何变化？
• RQ3 这些偏见表现为何种形式（显性回避 vs.隐性错误），以及它们的可检测性如何？
• RQ4 简单的基于提示的去偏是否能缓解人设诱发的偏见，其局限性为何？
• RQ5 在不同人设对之间，是否存在领域或任务特定的偏见表现模式？

主要发现

• 80% 的 ChatGPT-3.5 人设在跨数据集时显示偏见；在某些数据集上相对正确率下降高达 70%。
• GPT-4-Turbo 的偏见最小，但在 42% 的人设上仍有影响。
• Phys. Disabled（物理残疾）与 Religious（宗教）人设通常出现 35% 及以上的平均准确率下降，某些数据集下降幅度高达 69%。
• 偏见在模型、人设和领域中广泛存在，存在清晰的组内与跨组差异（如 Religion 或 Disability 组内的差异）。
• 回避导致了大量错误（例如 Phys. Disabled 的错误占 58%；Athiest 与 Religious 的错误占比 35%），但隐性偏见也会造成非回避错误。
• 如 don’t refuse 或 treat human 这样的去偏提示总体无效；领域特定的专业知识可以降低偏见，但其通用性有限。