[论文解读] Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition

Mahsan Nourani, Chiradeep Roy+4 more|arXiv (Cornell University)|May 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 95被引用 11

一句话总结

本研究通过一项受控用户实验，评估了可解释人工智能（XAI）在视频行为识别中解释真实性的影响。研究发现，与准确解释或完全无解释相比，低真实性解释显著降低了用户的性能和一致性，表明误导性解释可能比无解释更糟糕，因为会导致用户困惑和不信任。

ABSTRACT

Explainable machine learning and artificial intelligence models have been used to justify a model's decision-making process. This added transparency aims to help improve user performance and understanding of the underlying model. However, in practice, explainable systems face many open questions and challenges. Specifically, designers might reduce the complexity of deep learning models in order to provide interpretability. The explanations generated by these simplified models, however, might not accurately justify and be truthful to the model. This can further add confusion to the users as they might not find the explanations meaningful with respect to the model predictions. Understanding how these explanations affect user behavior is an ongoing challenge. In this paper, we explore how explanation veracity affects user performance and agreement in intelligent systems. Through a controlled user study with an explainable activity recognition system, we compare variations in explanation veracity for a video review and querying task. The results suggest that low veracity explanations significantly decrease user performance and agreement compared to both accurate explanations and a system without explanations. These findings demonstrate the importance of accurate and understandable explanations and caution that poor explanations can sometimes be worse than no explanations with respect to their effect on user performance and reliance on an AI system.

研究动机与目标

• 研究解释真实性如何影响用户在可解释人工智能系统中的表现和信任度。
• 评估不准确或误导性解释是否降低用户在视频行为识别任务中的理解力和决策能力。
• 比较三种条件下的用户表现和一致性：准确解释、低真实性解释和无解释。
• 评估解释真实性在塑造用户心智模型和系统依赖性方面的作用。
• 为XAI设计中真实性的重要性提供实证证据，超越模型准确性本身。

提出的方法

• 开展了一项包含120名参与者的受控用户研究，使用可解释的视频行为识别系统。
• 设计了三种实验条件：准确解释、低真实性（不准确）解释和无解释。
• 通过视频审查与查询任务，测量用户表现、对系统预测的一致性以及对准确性的感知。
• 通过结构化问卷和交互日志，收集用户任务表现、信心水平以及心智模型发展的数据。
• 使用Amazon Mechanical Turk招募参与者，以确保用户群体多样化且非专业。
• 采用统计方法分析结果，比较不同解释真实性条件下的表现和一致性。

实验结果

研究问题

• RQ1 解释真实性如何影响用户在视频行为识别任务中的表现？
• RQ2 提供不准确解释是否导致用户对系统预测的一致性低于提供准确解释或无解释的情况？
• RQ3 解释真实性如何影响用户对系统准确性和信任度的感知？
• RQ4 误导性解释是否会导致用户对AI系统形成错误的心智模型？
• RQ5 具有准确解释的系统与无解释的系统之间，用户表现是否存在显著差异？

主要发现

• 与准确解释和无解释相比，低真实性解释显著降低了用户表现。
• 当解释不准确时，用户对系统预测的一致性显著下降，表明信任度和可靠性降低。
• 依赖低真实性解释的参与者与模型实际逻辑的对齐程度较弱，表明心智模型构建存在缺陷。
• 研究发现，误导性解释比无解释更具破坏性，因为它们引发了混淆和误解。
• 接触准确解释的参与者表现出更好的理解力和更高的任务表现，优于无解释或虚假解释的参与者。
• 结果表明，解释真实性是XAI设计中的关键因素，因为低质量解释可能削弱用户的效率和信任。