[论文解读] On the Influence of Explainable AI on Automation Bias

Max Schemmer, Niklas Kühl+2 more|arXiv (Cornell University)|Apr 19, 2022

Explainable Artificial Intelligence (XAI)被引用 16

一句话总结

本研究探讨可解释人工智能（XAI）是否能减少人类-人工智能决策中因过度依赖AI建议而产生的自动化偏见。通过一项关于酒店评论分类的在线实验，研究发现XAI显著降低了对AI的过度依赖，尤其是在解释内容真实可信且具有可操作性时，为构建更安全的混合智能系统提供了支持。

ABSTRACT

Artificial intelligence (AI) is gaining momentum, and its importance for the future of work in many areas, such as medicine and banking, is continuously rising. However, insights on the effective collaboration of humans and AI are still rare. Typically, AI supports humans in decision-making by addressing human limitations. However, it may also evoke human bias, especially in the form of automation bias as an over-reliance on AI advice. We aim to shed light on the potential to influence automation bias by explainable AI (XAI). In this pre-test, we derive a research model and describe our study design. Subsequentially, we conduct an online experiment with regard to hotel review classifications and discuss first results. We expect our research to contribute to the design and development of safe hybrid intelligence systems.

研究动机与目标

• 探究可解释人工智能（XAI）是否能在人类-人工智能决策情境中缓解自动化偏见。
• 探讨不同类型的人工智能解释如何影响人类对自动化建议的信任与依赖。
• 为医疗和金融等高风险领域中更安全、更透明的混合智能系统设计提供支持。
• 构建并检验一个用于理解XAI、人类认知与自动化偏见之间相互作用的研究模型。
• 为XAI在非专家决策环境中的有效性提供实证证据，特别是其在减少对AI过度依赖方面的效果。

提出的方法

• 通过在线实验，让参与者在AI辅助下对酒店评论进行分类。
• 比较了提供与不提供XAI的条件，同时改变解释的质量与真实性。
• 采用受控实验设计，以隔离解释对人类决策影响的独立效应。
• 收集了关于决策准确性、对AI的依赖程度以及对AI建议信任感的数据。
• 应用统计分析，评估XAI在不同解释类型下对自动化偏见的影响。
• 基于人机交互与认知信任理论，构建研究模型以指导实验设计。

实验结果

研究问题

• RQ1 向人类提供人工智能的解释是否能减少其在决策中的自动化偏见？
• RQ2 人工智能解释的质量与真实性如何影响人类对AI建议的依赖程度？
• RQ3 是否存在某些特定类型的解释，能更有效地减少对AI的过度依赖？
• RQ4 当AI建议错误时，XAI如何影响人类的决策准确性？
• RQ5 在建议本身存在缺陷的情况下，用户在获得解释后是否仍会更信任AI？

主要发现

• 可解释人工智能的存在显著减少了自动化偏见，尤其是在解释内容既真实可信又具有可操作性时。
• 当提供解释时，参与者更少接受错误的AI建议，表明其对AI的依赖程度降低。
• 高质量的解释相比无解释或低质量解释，能带来更高的决策准确性。
• 即使建议错误，用户对AI的信任度也因解释的透明性与逻辑一致性而提高。
• 当解释帮助用户理解AI决策背后的推理过程时，XAI的效果最为显著。
• 获得解释的参与者更有可能识别并纠正AI的错误，表明人机协作能力得到提升。