[论文解读] IROF: a low resource evaluation metric for explanation methods

Laura Rieger, Lars Kai Hansen|arXiv (Cornell University)|Mar 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 25被引用 9

一句话总结

IROF 是一种轻量级、自动化的机器学习解释方法评估指标，通过基于相关性移除图像片段来衡量模型置信度的下降。该方法实现高效、无需人工参与的评估，计算成本极低，揭示了模型准确率与可解释性之间的权衡，并在低资源场景下展现出优于先前方法的鲁棒性和可扩展性。

ABSTRACT

The adoption of machine learning in health care hinges on the transparency of the used algorithms, necessitating the need for explanation methods. However, despite a growing literature on explaining neural networks, no consensus has been reached on how to evaluate those explanation methods. We propose IROF, a new approach to evaluating explanation methods that circumvents the need for manual evaluation. Compared to other recent work, our approach requires several orders of magnitude less computational resources and no human input, making it accessible to lower resource groups and robust to human bias.

研究动机与目标

• 解决机器学习中解释方法缺乏可靠、可扩展评估指标的问题。
• 消除对人工评估的依赖，后者成本高昂、存在偏见，且在低资源环境中不切实际。
• 开发一种计算高效的指标，仅通过模型推理和图像分割即可评估解释质量。
• 评估深度学习模型在医学影像任务中的可解释性，特别是在低收入和中等收入国家的应用。
• 为不同架构和数据集上的解释方法比较提供定量、客观的基准。

提出的方法

• IROF 使用传统图像分割将输入图像划分为连贯的图像块，以减少像素间的相关性。
• 基于给定的解释方法计算每个图像块的平均相关性，并按从高到低的相关性对图像块进行排序。
• 通过迭代方式逐步移除图像块——从最相关的开始——将被移除块的像素值替换为全局数据集均值。
• 在每次移除步骤后记录模型的类别得分，形成随图像块移除而产生的置信度下降曲线。
• IROF 得分通过该曲线的归一化积分计算得出，表示每移除一个图像块所导致的置信度总下降量。
• 该方法在多个模型和数据集上进行了应用，包括 ImageNet 和用于皮肤病变分类的 ISIC 数据集。

实验结果

研究问题

• RQ1 我们能否在不依赖人工标注或昂贵再训练的前提下评估解释方法？
• RQ2 IROF 的计算成本与现有指标（如 ROAR）相比如何？
• RQ3 不同数据集和架构下，解释方法的排名是否保持一致？
• RQ4 如 IROF 所测，模型准确率与可解释性之间是否存在权衡关系？
• RQ5 不同解释方法在医学影像任务中表现如何，特别是在皮肤癌分类任务中？

主要发现

• IROF 所需的计算成本比 ROAR 低几个数量级，使其在低资源研究团队中具有可行性。
• 除 LIME 外，所有解释方法在 ImageNet 上均优于随机基线和 Sobel 边缘检测器，表明其捕捉到了有意义的特征。
• 发现模型准确率与 IROF 得分之间存在显著的负相关关系：准确率越高的模型，其可解释性越低。
• SmoothGrad 和 GradCAM 在多个架构和数据集（包括 ISIC）中始终排名最高，表明其在医疗应用中具有更优的可靠性。
• 在 ISIC 数据集上，IROF 得分显著低于 ImageNet，表明皮肤病变诊断在本质上比自然图像分类更难解释。
• 解释方法的排名在 ImageNet 和 ISIC 上保持一致，表明 IROF 抓住了方法的内在特性，而非数据集特异性的人工制品。