[论文解读] Evaluating Feature Attribution Methods in the Image Domain

Arne Gevaert, Axel-Jan Rousseau+4 more|Ghent University Academic Bibliography (Ghent University)|Feb 22, 2022

Visual Attention and Saliency Detection被引用 7

一句话总结

本文通过分析和扩展现有度量方法，评估图像分类中的特征归因方法，揭示不同度量方法衡量的是不同的潜在概念，且在不同数据集间缺乏通用性。本文提出了一套基准测试框架，根据应用场景选择最优的归因方法，表明理论上严谨的方法（如DeepSHAP）并不总能优于更简单、更快的替代方法。

ABSTRACT

Feature attribution maps are a popular approach to highlight the most important pixels in an image for a given prediction of a model. Despite a recent growth in popularity and available methods, little attention is given to the objective evaluation of such attribution maps. Building on previous work in this domain, we investigate existing metrics and propose new variants of metrics for the evaluation of attribution maps. We confirm a recent finding that different attribution metrics seem to measure different underlying concepts of attribution maps, and extend this finding to a larger selection of attribution metrics. We also find that metric results on one dataset do not necessarily generalize to other datasets, and methods with desirable theoretical properties such as DeepSHAP do not necessarily outperform computationally cheaper alternatives. Based on these findings, we propose a general benchmarking approach to identify the ideal feature attribution method for a given use case. Implementations of attribution metrics and our experiments are available online.

研究动机与目标

• 系统评估图像领域模型中现有的特征归因度量方法。
• 确定不同度量方法是否衡量归因图的一致或不同的属性。
• 评估度量结果在不同图像数据集间的可泛化性。
• 确定理论上合理的归因方法（如DeepSHAP）是否在所有度量中始终优于计算成本更低的替代方法。
• 提出一种实用的基准测试框架，以根据特定应用场景选择最合适的归因方法。

提出的方法

• 对现有归因评估度量方法进行适应与扩展，包括基于概念的度量和忠实度度量。
• 在多个图像数据集（如CIFAR-10、ImageNet）和多个深度学习模型上应用这些度量方法。
• 使用扩展的度量工具集对10余种归因方法（如Grad-CAM、Grad-Shap、Integrated Gradients）进行实证比较。
• 引入合理性检查以验证度量的可靠性和可解释性。
• 设计系统化的基准测试流程，根据特定应用场景需求指导方法选择。
• 开源度量方法和实验代码的实现，以确保可复现性并供社区使用。

实验结果

研究问题

• RQ1 不同的归因评估度量方法是否衡量相同的潜在显著性概念，还是不同的属性？
• RQ2 在某一数据集上得到的度量结果在多大程度上可泛化到其他数据集？
• RQ3 具有强大理论基础的归因方法（如DeepSHAP）是否在所有评估度量中始终表现更优？
• RQ4 在实际应用场景中，计算效率更高的方法（如Grad-CAM或Guided Grad-CAM）是否能与更复杂的归因方法相媲美？
• RQ5 能否建立一个统一的基准测试框架，以指导针对特定应用场景选择最合适的归因方法？

主要发现

• 不同的归因评估度量方法衡量的是不同且通常不重叠的特征重要性概念，表明没有单一度量能涵盖显著性的所有方面。
• 在某一数据集上得到的度量性能结果无法泛化到其他数据集，凸显了基于数据集的评估的重要性。
• 尽管具有强大理论特性的方法（如DeepSHAP）在所有度量和数据集中并不总能优于更简单、更快的替代方法。
• 所提出的基准测试框架能够根据具体应用场景需求和约束，系统性地选择最合适的归因方法。
• 合理性检查表明，某些常用度量方法可能产生误导性结果，强调了对评估流程进行稳健验证的必要性。