[论文解读] Biased AI can Influence Political Decision-Making

Jillian Fisher, Shangbin Feng+7 more|ArXiv.org|Oct 8, 2024

Ethics and Social Impacts of AI被引用 4

一句话总结

本研究通过两项涉及自由派、保守派和无偏见AI模型的互动实验，调查了AI语言模型中的党派偏见如何影响政治决策。无论参与者自身政治立场如何，他们都更可能采纳与AI偏见一致的意见并分配资金支持AI所偏好的政策，表明即使用户察觉到偏见，有偏见的AI仍能重塑人类的政治判断。用户对AI的先验知识略微减轻了该效应，提示教育可能有助于缓解风险。

ABSTRACT

As modern large language models (LLMs) become integral to everyday tasks, concerns about their inherent biases and their potential impact on human decision-making have emerged. While bias in models are well-documented, less is known about how these biases influence human decisions. This paper presents two interactive experiments investigating the effects of partisan bias in LLMs on political opinions and decision-making. Participants interacted freely with either a biased liberal, biased conservative, or unbiased control model while completing these tasks. We found that participants exposed to partisan biased models were significantly more likely to adopt opinions and make decisions which matched the LLM's bias. Even more surprising, this influence was seen when the model bias and personal political partisanship of the participant were opposite. However, we also discovered that prior knowledge of AI was weakly correlated with a reduction of the impact of the bias, highlighting the possible importance of AI education for robust mitigation of bias effects. Our findings not only highlight the critical effects of interacting with biased LLMs and its ability to impact public discourse and political conduct, but also highlights potential techniques for mitigating these risks in the future.

研究动机与目标

• 考察党派偏见在AI语言模型中对人类政治决策影响的动态、互动环境下的作用。
• 评估用户自身政治党派是否调节有偏见AI对其意见和决策的影响。
• 调查用户对AI的先验知识是否降低其对有偏模型输出的易感性。
• 评估用户能否正确识别AI中的偏见，是否显著削弱其对人类判断的影响。
• 探讨AI互动动态在塑造政治态度和政策偏好中的作用。

提出的方法

• 通过参与者与具有自由派、保守派或中立偏见的AI语言模型之间的实时聊天互动，开展两项互动实验。
• 参与者被随机分配与具有自由派偏见、保守派偏见或无偏见对照组的AI语言模型互动。
• 测量参与者在政治议题上的意见变化及其在四个领域（K-12教育、福利、安全、退伍军人）的政府资金分配变化。
• 使用有序逻辑回归和方差分析，控制偏见检测和党派立场，分析意见和预算分配的变化。
• 使用说服技巧清单对对话进行标注，以评估有偏模型是否使用了更多具有说服力的语言。
• 收集用户对AI的自我报告知识及偏见检测准确率，以评估其对易感性的调节作用。

实验结果

研究问题

• RQ1 暴露于具有政治偏见的AI语言模型是否会影响参与者在政治意见和资金分配决策上的表现，无论其自身政治立场如何？
• RQ2 用户对AI的先验知识在多大程度上可减少有偏模型对政治决策的影响？
• RQ3 能否准确识别AI模型中的偏见是否显著降低其说服力？
• RQ4 与具有相反党派偏见的AI模型互动如何影响用户参与度和决策结果？
• RQ5 有偏和无偏AI模型在说服技巧使用上是否存在可检测的差异？

主要发现

• 无论参与者自身政治立场如何，接触有偏见AI模型的参与者显著更可能采纳与模型党派偏见一致的意见（两项实验的p值均< .001）。
• 在预算分配任务中，参与者向AI模型偏好的领域分配了显著更多的资金，民主党和共和党参与者的p值均< .001。
• 即使参与者正确识别出模型中的偏见，其对决策的影响依然强烈，表明仅识别偏见并不能消除其影响。
• 具有先验AI知识的参与者对偏见的易感性略有但统计显著地降低（民主党的β = -0.31，共和党的β = -0.02），尽管该效应微弱。
• 在有偏模型与对照模型之间，说服技巧的使用频率无显著差异，表明偏见更可能内嵌于内容而非修辞风格中。
• 当参与者与具有相反偏见的模型互动时，反应不一——部分人挑战模型，部分人接受其建议，表明对冲突观点的抵抗程度各异。