[论文解读] Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance

Gagan Bansal, Tongshuang Wu+6 more|arXiv (Cornell University)|Jun 25, 2020

Big Data and Business Intelligence被引用 7

一句话总结

本研究调查了AI解释是否能提升互补型人机协作表现，即团队表现优于任一单独个体。与先前研究相反，本研究发现仅展示AI置信度即可显著提升准确率，而添加解释并未带来额外增益，反而在正确与否的情况下均增加了人类对AI的依赖，这为人机协作中信任诱导型解释的设计带来了挑战。

ABSTRACT

Many researchers motivate explainable AI with studies showing that human-AI team performance on decision-making tasks improves when the AI explains its recommendations. However, prior studies observed improvements from explanations only when the AI, alone, outperformed both the human and the best team. Can explanations help lead to complementary performance, where team accuracy is higher than either the human or the AI working solo? We conduct mixed-method user studies on three datasets, where an AI with accuracy comparable to humans helps participants solve a task (explaining itself in some conditions). While we observed complementary improvements from AI augmentation, they were not increased by explanations. Rather, explanations increased the chance that humans will accept the AI's recommendation, regardless of its correctness. Our result poses new challenges for human-centered AI: Can we develop explanatory approaches that encourage appropriate trust in AI, and therefore help generate (or improve) complementary performance?

研究动机与目标

• 调查AI解释是否能带来人机团队的互补性表现，即团队准确率高于任一单独个体的表现。
• 检验在AI与人类表现相近的场景下，解释是否相较于仅显示AI置信度等简单策略具有实际优势。
• 识别AI解释系统设计中的挑战，这些挑战可能无意中削弱人类的独立推理能力或扭曲信任关系。
• 挑战一种假设，即解释本身能提升团队表现，尤其是在AI非主导的场景中。
• 为未来解释方法的发展提供指导，以促进人机协作中适当信任与真正协同效应的建立。

提出的方法

• 在三个真实世界数据集上开展了大规模用户研究，参与人数超过1,500人，以评估人机团队的表现。
• 通过选择AI预测准确率与人类基线相近的样本，使AI准确率与人类表现相当。
• 对比了多种条件：仅AI推荐、仅显示AI置信度，以及AI配合解释（使用LIME-based显著性图与自然语言解释）。
• 采用工作流设计，先向人类展示AI的预测与解释，再由人类独立做出判断，以评估其对独立推理的影响。
• 采用混合方法分析，包括定量准确率比较与关于信任及推理过程的定性反馈。
• 评估了不同类型解释（如反事实解释、基于显著性的解释）对团队准确率及决策行为的影响。

实验结果

研究问题

• RQ1 当AI与人类表现相近时，向AI推荐提供解释是否能带来高于仅显示AI置信度的团队准确率？
• RQ2 与基线策略相比，解释是否能使人机团队实现互补性表现——即团队准确率超过双方个体表现？
• RQ3 解释如何影响人类对AI的信任？这种信任是否与AI推荐的正确性相关？
• RQ4 解释可能带来哪些非预期后果，例如加剧锚定效应或降低独立推理能力？
• RQ5 是否可以设计出解释策略，以在AI并非明显更优的情况下，真正提升团队表现，而不仅仅是增加对AI的依赖？

主要发现

• 在所有条件下均观察到互补性表现——即人机团队表现优于双方个体，但与仅显示置信度的基线相比，解释并未显著提升互补表现。
• 解释增加了人类接受AI推荐的可能性，无论其正确与否，导致在AI预测错误时的接受率上升。
• 在AI判断错误的样本中，解释反而导致团队准确率明显下降，削弱了解释的净收益。
• 与仅显示AI置信度相比，解释带来的净改进极小且无统计显著性。
• 解释加剧了人类对AI的依赖，尤其在AI出错时，提示存在过度信任与批判性评估能力下降的风险。
• 研究结果挑战了‘解释本身能提升人机协作’的假设，强调需要设计出能促进适当、情境敏感信任的解释系统。