[论文解读] Explaining an image classifier's decisions using generative models

Chirag Agarwal, Anh‐Tu Nguyen|arXiv (Cornell University)|Oct 9, 2019

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出将生成式图像修复模型集成到归因方法中，以在解释分类器决策时生成更逼真的反事实图像。通过用真实的图像生成替代启发式扰动（如模糊或掩码），该方法在 ImageNet 和 Places365 数据集上的目标定位、删除和显著性度量等指标上均提升了归因质量。

ABSTRACT

Perturbation-based explanation methods often measure the contribution of an input feature to an image classifier's outputs by heuristically removing it via e.g. blurring, adding noise, or graying out, which often produce unrealistic, out-of-samples. Instead, we propose to integrate a generative inpainter into three representative attribution methods to remove an input feature. Our proposed change improved all three methods in (1) generating more plausible counterfactual samples under the true data distribution; (2) being more accurate according to three metrics: object localization, deletion, and saliency metrics; and (3) being more robust to hyperparameter changes. Our findings were consistent across both ImageNet and Places365 datasets and two different pairs of classifiers and inpainters.

研究动机与目标

• 解决基于扰动的解释方法因生成不真实、分布外的反事实样本而存在的局限性。
• 提升用于解释图像分类器决策的反事实图像的保真度与合理性。
• 通过使用真实图像生成而非启发式特征移除，增强归因方法的准确性和鲁棒性。
• 评估生成式图像修复在多种归因方法、不同数据集和模型对上的影响。

提出的方法

• 将预训练的生成式图像修复模型集成到三种具有代表性的归因方法中，以用真实图像重建替代启发式特征移除。
• 利用修复模型通过掩码特定输入特征并基于上下文填充合理内容，生成反事实图像。
• 将改进后的归因方法应用于在真实数据分布下使用生成的反事实图像计算特征重要性得分。
• 采用标准评估指标——目标定位、删除和显著性——来评估归因质量。
• 在 ImageNet 和 Places365 上使用两组不同的分类器-修复模型对进行训练与评估，以确保方法的泛化能力。
• 验证了基于修复的方法相比基线扰动技术能生成更真实的反事实图像。

实验结果

研究问题

• RQ1 用生成式图像修复替代启发式扰动是否能提升归因方法中反事实图像的真实性？
• RQ2 使用生成式图像修复如何影响归因方法在标准评估指标上的准确性？
• RQ3 与基线方法相比，该方法在超参数变化下表现出多大程度的鲁棒性提升？
• RQ4 该性能增益是否在不同数据集和分类器-修复模型组合中均成立？
• RQ5 生成式图像修复能否通过更好地反映真实数据分布，产生更忠实的解释？

主要发现

• 所提出的方法生成的反事实样本显著比启发式扰动方法生成的样本更自然、更逼真。
• 在使用生成式图像修复时，所有三种归因方法在目标定位、删除和显著性度量上均表现出性能提升。
• 与基线方法相比，该方法对超参数变化表现出更强的鲁棒性。
• 在 ImageNet 和 Places365 两个数据集上，性能提升均保持一致。
• 在两组不同的分类器-修复模型对上均观察到性能增益，表明该方法具有良好的泛化能力。
• 结果证实，在真实数据分布下使用逼真的反事实样本可带来更可靠、更准确的模型解释。