[论文解读] Evaluating the performance of the LIME and Grad-CAM explanation methods on a LEGO multi-label image classification task

David Cian, Jan van Gemert+1 more|arXiv (Cornell University)|Aug 4, 2020

Explainable Artificial Intelligence (XAI)被引用 15

一句话总结

本研究评估了LIME与Grad-CAM在多标签图像任务中对深度学习模型分类乐高砖块的解释方法效果。基于1,800张乐高图像的自定义数据集，作者发现Grad-CAM在核心模型性能洞察与用户信任方面均优于LIME，80%的参与者更倾向于选择Grad-CAM以增强可信度，尽管结合两种方法可提供互补性洞察。

ABSTRACT

In this paper, we run two methods of explanation, namely LIME and Grad-CAM, on a convolutional neural network trained to label images with the LEGO bricks that are visible in them. We evaluate them on two criteria, the improvement of the network's core performance and the trust they are able to generate for users of the system. We find that in general, Grad-CAM seems to outperform LIME on this specific task: it yields more detailed insight from the point of view of core performance and 80\\% of respondents asked to choose between them when it comes to the trust they inspire in the model choose Grad-CAM. However, we also posit that it is more useful to employ these two methods together, as the insights they yield are complementary.

研究动机与目标

• 评估LIME与Grad-CAM作为针对乐高多标签图像分类训练的深度学习模型的解释方法的有效性。
• 评估这些解释技术如何通过可解释性提升模型的核心性能。
• 通过人类评估研究，衡量每种解释方法所激发的用户信任水平。
• 确定结合LIME与Grad-CAM是否能提供比单独使用任一方法更全面的洞察。
• 通过在GitLab和Weights & Biases上发布代码、模型权重与数据集，确保实验可复现。

提出的方法

• 在包含1,800张乐高图像切片的自定义数据集上训练卷积神经网络（CNN），以多标签格式分类可见的砖块类型。
• 应用LIME（局部可解释模型无关解释）通过扰动输入像素并拟合线性代理模型，生成局部、实例特定的解释。
• 应用Grad-CAM（梯度类激活映射）通过利用最后一层卷积层的梯度信息，生成类别激活图。
• 使用核可视化与特征图分析作为补充可解释性技术，以获得对比性洞察。
• 开展一项盲测的二选一强制选择用户研究，共10名参与者，评估哪种解释方法更能激发对模型的信任。
• 收集参与者对深度学习的熟悉程度，以评估专业知识对信任感知的影响。

实验结果

研究问题

• RQ1 LIME与Grad-CAM在提升对深度学习模型在乐高多标签分类任务中核心性能理解方面的能力如何比较？
• RQ2 在LIME与Grad-CAM之间，哪种解释方法更能激发用户对模型预测的信任？
• RQ3 用户对深度学习的熟悉程度是否会影响其对解释方法可信度的感知？
• RQ4 在联合使用时，LIME与Grad-CAM在多大程度上提供互补性洞察？
• RQ5 实验结果的可复现性如何？提供了哪些资源以支持复现？

主要发现

• Grad-CAM在提供关于模型推理过程的详细、局部化洞察方面优于LIME，尤其在以超像素级别突出相关图像区域方面表现更优。
• 在用户信任评估中，80%的参与者更偏好Grad-CAM而非LIME，表明其对可靠性与透明度的感知更强。
• LIME依赖局部扰动与线性近似，导致其显著性图较不精确且更模糊，而Grad-CAM基于梯度的注意力图则更为清晰。
• 本研究发现，结合LIME与Grad-CAM可产生互补性洞察，因两种方法分别捕捉了模型行为的不同方面。
• 对深度学习更熟悉的参与者表现出更细微的偏好，但总体趋势仍为更倾向于选择Grad-CAM。
• 完整代码库、模型权重与数据集已公开发布于GitLab与Weights & Biases，支持实验的完全可复现。