[论文解读] How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels

Hua Shen, Ting-Hao Huang|arXiv (Cornell University)|Aug 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 16被引用 4

一句话总结

本研究评估了机器生成的视觉解释（例如显著性图）是否有助于普通用户推断深度神经网络错误分类图像的原因。通过在200张ImageNet图像上开展众包实验，研究发现，这些解释使人类猜测错误模型预测的准确率降低了约10%，表明它们可能产生误导而非澄清模型错误。

ABSTRACT

Explaining to users why automated systems make certain mistakes is important and challenging. Researchers have proposed ways to automatically produce interpretations for deep neural network models. However, it is unclear how useful these interpretations are in helping users figure out why they are getting an error. If an interpretation effectively explains to users how the underlying deep neural network model works, people who were presented with the interpretation should be better at predicting the model's outputs than those who were not. This paper presents an investigation on whether or not showing machine-generated visual interpretations helps users understand the incorrectly predicted labels produced by image classifiers. We showed the images and the correct labels to 150 online crowd workers and asked them to select the incorrectly predicted labels with or without showing them the machine-generated visual interpretations. The results demonstrated that displaying the visual interpretations did not increase, but rather decreased, the average guessing accuracy by roughly 10%.

研究动机与目标

• 评估机器生成的视觉解释是否能提升普通用户推理图像分类中深度神经网络错误的能力。
• 调查解释是否有助于用户识别模型做出错误预测的原因，特别是在误分类情况下。
• 评估事后解释（如显著性图）在支持非专家用户理解模型失败方面的有效性。
• 确定在何种条件下解释有助于或有害于人类对模型错误的推断。

提出的方法

• 通过Amazon Mechanical Turk开展两项受控实验，共招募150名众包工作者，评估人类在猜测错误预测标签方面的表现。
• 向每位工作者展示一张图像和正确标签，告知其模型已发生错误，且在有或无机器生成的显著性图解释的情况下进行展示。
• 采用被试内设计，每张图像均在“有解释”（[Int]）和“无解释”（[No-Int]）两种条件下呈现，以控制图像差异的影响。
• 共收集2,000份有效提交（每种条件1,000份），其中[Int]组42名工作者，[No-Int]组63名工作者，两组无重叠。
• 通过从五个选项中选择正确错误标签（四个干扰项）来衡量人类的准确率，以评估解释的影响。
• 采用配对t检验评估[Int]与[No-Int]条件下猜测准确率差异的统计显著性。

实验结果

研究问题

• RQ1 展示机器生成的视觉解释是否能提升普通用户猜测图像错误预测标签的能力？
• RQ2 是否存在某些类型的误分类错误，使得解释更有效或更无效？
• RQ3 解释的存在是否导致人类猜测准确率发生统计上显著的变化？
• RQ4 在何种条件下，解释会阻碍而非帮助用户理解模型错误？

主要发现

• 在[Int]条件下，人类猜测准确率的平均值为0.63，在[No-Int]条件下为0.73，表明展示解释后准确率显著下降约10%（p < 0.01）。
• 在类别C3（外观相似的物体）中，准确率从无解释时的0.84降至有解释时的0.66，表明解释使表现更差。
• 在类别C4（由背景或场景混淆导致的错误）中，准确率从0.59降至0.41，表明解释产生了显著的负面影响。
• 相比之下，在C1和C2类别中，准确率虽略有上升（C1：0.57 vs. 0.52；C2：0.74 vs. 0.71），但差异无统计显著性。
• 总体结果表明，视觉解释不仅未提升，反而降低了人类推断模型误分类的能力。
• 研究结果表明，解释可能误导用户，尤其是在涉及视觉相似性或图像背景中虚假相关性的情况下。