[论文解读] Bending the Automation Bias Curve: A Study of Human and AI-based Decision Making in National Security Contexts

Michael C. Horowitz, Lauren Kahn|arXiv (Cornell University)|Jun 28, 2023

Ethics and Social Impacts of AI被引用 6

一句话总结

本研究通过一项在九个国家开展的、涵盖9,000名成人的预注册调查实验，调查了在国家安全情境下人工智能辅助决策中的自动化偏倚与算法厌恶现象。研究发现，人工智能背景知识与对AI依赖程度之间存在非线性关系：自动化偏倚在低至中等知识水平时达到峰值，呈现出类似邓宁-克鲁格效应的特征；而高程度的人工智能熟悉度则同时降低偏倚与厌恶情绪，从而带来更准确的决策。

ABSTRACT

Uses of artificial intelligence (AI), especially those powered by machine learning approaches, are growing in sectors and societies around the world. How will AI adoption proceed, especially in the international security realm? Research on automation bias suggests that humans can often be overconfident in AI, whereas research on algorithm aversion shows that, as the stakes of a decision rise, humans become more cautious about trusting algorithms. We theorize about the relationship between background knowledge about AI, trust in AI, and how these interact with other factors to influence the probability of automation bias in the international security context. We test these in a preregistered task identification experiment across a representative sample of 9000 adults in 9 countries with varying levels of AI industries. The results strongly support the theory, especially concerning AI background knowledge. A version of the Dunning Kruger effect appears to be at play, whereby those with the lowest level of experience with AI are slightly more likely to be algorithm-averse, then automation bias occurs at lower levels of knowledge before leveling off as a respondent's AI background reaches the highest levels. Additional results show effects from the task's difficulty, overall AI trust, and whether a human or AI decision aid is described as highly competent or less competent.

研究动机与目标

• 理解背景知识、信任与自信如何影响高风险国家安全决策中的自动化偏倚与算法厌恶。
• 检验是否存在类似邓宁-克鲁格效应的现象，从而影响在军事相关情境中对人工智能与人类决策辅助工具的依赖程度。
• 考察任务难度、系统能力描述以及普遍的人工智能信任感如何塑造人机决策互动关系。
• 为国际关系领域中人工智能采纳模式提供实证证据，特别是在人类与机器协作可能影响生死抉择的情境下。
• 通过识别影响信任与过度依赖自动化系统之心理与经验因素，为政策制定、培训与人工智能教育提供依据。

提出的方法

• 在九个具有不同人工智能产业与军事投入水平的国家，对9,000名具有代表性的成年人开展了一项预注册的、基于情景的调查实验。
• 采用涉及军用飞机识别的国家安全情景，模拟高风险情境下真实世界的人工智能决策支持。
• 通过改变决策辅助工具的描述，操纵其感知能力（高 vs. 低）与来源（人类 vs. AI），同时测量依赖程度与决策准确性。
• 通过人工智能熟悉度、知识水平与实际使用经验的综合指标衡量人工智能背景。
• 收集关于任务表现自我信心、普遍人工智能信任感以及自动化态度的数据，以评估其调节作用。
• 采用多层次回归模型分析响应数据，检验人工智能接触程度与决策行为之间非线性关系。

Figure 1 : Reliance on automation relative to prior background in AI.

实验结果

研究问题

• RQ1 个体的人工智背后知识如何影响其在国家安全决策中表现出自动化偏倚或算法厌恶的可能性？
• RQ2 人工智能知识与对自动化决策辅助工具依赖程度之间的关系是否呈现非线性模式，如邓宁-克鲁格效应所预测？
• RQ3 在高风险军事情景中，决策辅助工具的感知能力与来源（人类 vs. AI）如何影响依赖程度与决策准确性？
• RQ4 对自身能力的自我信心在多大程度上调节对人工智能或人类决策辅助工具的过度依赖倾向？
• RQ5 对人工智能的普遍态度与技术信任感如何与知识水平及能力线索相互作用，从而塑造对自动化系统的依赖程度？

主要发现

• 人工智能背景知识与对AI依赖程度之间存在非线性关系：自动化偏倚在人工智能熟悉度处于低至中等水平时最为显著，随后在知识水平最高时开始下降。
• 人工智能经验最少的个体略倾向于算法厌恶，但随着知识水平提高，自动化偏倚逐渐显现并达到峰值，随后在高知识水平下趋于稳定。
• 对自身完成任务能力缺乏自信的受访者，在AI决策辅助建议下更可能纠正错误答案，尤其当其人工智能背景较高时，准确率从约50%上升至近70%。
• 普遍的人工智能信任感与感知系统能力显著提高了采纳AI建议的可能性，当AI系统被描述为高度准确时，其可信度甚至超过人类分析师。
• 对自身能力的自信是过度依赖的强负向预测因子：相信自己判断准确的个体更少会盲从AI或人类决策辅助工具。
• 人工智能熟悉度、自我信心与系统能力三者之间的交互作用显著解释了决策准确性的差异，其中准确率最高者为自我信心较低但具备高人工智能背景且由能力出众的AI系统提供建议的个体。

Figure 2 : Mean Level of Switching Per Treatment Type