[论文解读] Modeling Reliance on XAI Indicating Its Purpose and Attention

Akihiro Maehigashi, Yosuke Fukuchi+1 more|arXiv (Cornell University)|Feb 16, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本研究探讨可解释人工智能（XAI）特征——具体而言，AI目的说明和注意力热图——如何影响人类对人工智能的信任与依赖。通过结构方程模型（SEM）分析发现，在简单任务（合规性）中，目的说明可提升信任；而热图仅在可解释性高的情况下才能增强信任，尤其是在困难任务（瞌睡检测）中，低可解释性热图反而会降低信任。

ABSTRACT

This study used XAI, which shows its purposes and attention as explanations of its process, and investigated how these explanations affect human trust in and use of AI. In this study, we generated heat maps indicating AI attention, conducted Experiment 1 to confirm the validity of the interpretability of the heat maps, and conducted Experiment 2 to investigate the effects of the purpose and heat maps in terms of reliance (depending on AI) and compliance (accepting answers of AI). The results of structural equation modeling (SEM) analyses showed that (1) displaying the purpose of AI positively and negatively influenced trust depending on the types of AI usage, reliance or compliance, and task difficulty, (2) just displaying the heat maps negatively influenced trust in a more difficult task, and (3) the heat maps positively influenced trust according to their interpretability in a more difficult task.

研究动机与目标

• 探究AI目的说明与注意力热图如何影响人类对AI系统的信任与依赖。
• 考察任务难度在XAI解释对信任与合规性影响中的调节作用。
• 评估注意力热图的可解释性是否在复杂决策情境中起到信任的中介作用。
• 通过评估透明AI解释是否能改善信任校准并减少对AI错误的不信任，以缓解算法厌恶。
• 区分依赖（委托任务）与合规（接受AI输出）作为XAI的不同行为结果。

提出的方法

• 使用Grad-CAM生成高可解释性与低可解释性的注意力热图，以可视化图像任务中AI的注意力分布。
• 通过人类感知测试在实验1中验证热图的可解释性。
• 在实验2中设置两项任务：一项为较简单的肥胖筛查任务，另一项为较困难的瞌睡检测任务。
• 收集依赖（委托决策）与合规（接受AI输出）作为行为结果的数据。
• 应用结构方程模型（SEM）分析目的说明、热图可解释性、信任（认知与情感）以及依赖/合规之间的因果关系。
• 在受控条件下隔离目的显示与注意力可视化对信任与行为的影响。

实验结果

研究问题

• RQ1 在不同任务情境下，展示AI系统目的如何影响人类的信任与依赖？
• RQ2 注意力热图对信任与合规的影响如何？这种影响是否取决于任务难度？
• RQ3 AI生成热图的可解释性如何影响对AI的认知与情感信任？
• RQ4 在高难度任务中，热图的存在是否会增加或减少算法厌恶？
• RQ5 依赖与合规在对XAI解释（如目的说明与注意力可视化）的敏感性上存在何种差异？

主要发现

• 在较简单的肥胖筛查任务中，展示AI目的对合规模型中的信任有积极影响；但在较困难的瞌睡检测任务中，对依赖模型中的信任有负面影响。
• 在高难度任务中，仅展示热图而无高可解释性，会负面影响瞌睡检测任务中的信任。
• 在瞌睡检测任务的合规模型中，热图的可解释性正向影响认知与情感信任。
• 在瞌睡检测任务中，注意力热图的更高可解释性提升了情感信任，表明可能存在拟人化效应。
• 在瞌睡检测任务中，认知信任对依赖与合规产生负面影响，可能是因为参与者预期AI会通过学习而改进。
• 结果支持假设：当XAI解释同时具备意义性（目的说明）与感知可解释性（高质量热图）时，其效果最佳，尤其在复杂且高风险的情境中。