[论文解读] Learning to Estimate Shapley Values with Vision Transformers

Ian Covert, Chanwoo Kim+1 more|arXiv (Cornell University)|Jun 10, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文提出一种基于视觉变换器（ViTs）的可学习解释器模型，以高效且准确地估计视觉模型的Shapley值，从而克服精确Shapley计算的计算不可行性。通过使用一种新颖的损失函数训练ViT，该损失函数在无需真实值的情况下限制估计误差，该方法在100倍于KernelSHAP的速度下实现了高保真度的解释，在多个数据集上优于基于注意力、梯度和移除的方法。

ABSTRACT

Transformers have become a default architecture in computer vision, but understanding what drives their predictions remains a challenging problem. Current explanation approaches rely on attention values or input gradients, but these provide a limited view of a model's dependencies. Shapley values offer a theoretically sound alternative, but their computational cost makes them impractical for large, high-dimensional models. In this work, we aim to make Shapley values practical for vision transformers (ViTs). To do so, we first leverage an attention masking approach to evaluate ViTs with partial information, and we then develop a procedure to generate Shapley value explanations via a separate, learned explainer model. Our experiments compare Shapley values to many baseline methods (e.g., attention rollout, GradCAM, LRP), and we find that our approach provides more accurate explanations than existing methods for ViTs.

研究动机与目标

• 使Shapley值在视觉变换器（ViTs）中具有实用性，因为其计算复杂度呈指数级增长，难以处理。
• 研究ViTs如何通过注意力掩码处理缺失的输入图像块，确保对部分输入的鲁棒性。
• 开发一种可学习的解释器模型，利用专门设计的训练损失函数，高效且准确地估计Shapley值。
• 在保真度和准确性方面，将所提方法与基于注意力、梯度和移除的解释方法进行比较。
• 验证Shapley值相较于注意力或梯度，能提供更可靠且一致的模型行为解释。

提出的方法

• 该方法使用注意力掩码策略在推理过程中模拟缺失的图像块，使ViTs能够处理部分输入。
• 使用一种新颖的损失函数，对一个独立微调的ViT解释器模型进行训练，以最小化Shapley值估计误差，且无需真实值。
• 该损失函数具有理论基础，可限制估计误差，确保训练过程中收敛到准确的Shapley值。
• 解释器模型通过一次前向传播即可生成完整的Shapley值解释，显著提升了采样方法（如KernelSHAP）的速度。
• 该方法利用ViTs的归纳偏置，建模图像块之间复杂的特征交互与依赖关系。
• 使用发散色彩映射（icefire）可视化解释结果，以突出图像块的正负贡献。

实验结果

研究问题

• RQ1 通过注意力掩码，视觉变换器能否有效适应处理部分缺失的图像块，从而实现Shapley值的计算？
• RQ2 可学习的ViT解释器模型能否在无需训练时提供真实Shapley值的情况下，以高精度和低计算成本估计Shapley值？
• RQ3 在不同图像类别和数据集上，Shapley值解释与基于注意力、梯度和移除的方法相比，在保真度和一致性方面表现如何？
• RQ4 Shapley值解释是否能正确识别目标类和非目标类中具有影响力和无影响力的关键图像块？
• RQ5 所提方法能否揭示影响预测的模型混杂因素（如背景特征），而其他方法可能遗漏？

主要发现

• 所提出的ViT Shapley解释器在解释质量上几乎与KernelSHAP相当，估计值的95%置信区间存在重叠。
• ViT Shapley的解释速度最高可达KernelSHAP的100倍，每张图像仅需一次前向传播。
• 在ImageNette数据集上，ViT Shapley在识别目标类和非目标类的相关与无关图像块方面，优于所有基线方法（如注意力传播、GradCAM、LRP）。
• 在MURA数据集上，ViT Shapley始终能突出异常体征，检测与病理相关的特征方面优于LRP和其他基线方法。
• 在Pets数据集上，ViT Shapley能准确捕捉与品种相关的特征（如嘴部形状、毛发图案），同时最小化对背景的关注，而其他方法则不然。
• 在非目标类的解释中，ViT Shapley能正确识别可能误导模型的背景特征（如草地、天空、金属），揭示了其他方法未能检测到的模型混杂因素。