[论文解读] Saliency is a Possible Red Herring When Diagnosing Poor Generalization

Joseph D. Viviano, Becks Simpson+3 more|arXiv (Cornell University)|Oct 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 49被引用 14

一句话总结

本文挑战了显著性图可靠诊断深度学习模型泛化能力差的假设。研究发现，通过归因先验（利用专家标注的掩码指导模型学习）来提升泛化能力的方法，并未一致提升显著性图与人类标注区域的一致性，从而削弱了显著性图作为模型鲁棒性诊断工具的有效性。

ABSTRACT

Poor generalization is one symptom of models that learn to predict target variables using spuriously-correlated image features present only in the training distribution instead of the true image features that denote a class. It is often thought that this can be diagnosed visually using attribution (aka saliency) maps. We study if this assumption is correct. In some prediction tasks, such as for medical images, one may have some images with masks drawn by a human expert, indicating a region of the image containing relevant information to make the prediction. We study multiple methods that take advantage of such auxiliary labels, by training networks to ignore distracting features which may be found outside of the region of interest. This mask information is only used during training and has an impact on generalization accuracy depending on the severity of the shift between the training and test distributions. Surprisingly, while these methods improve generalization performance in the presence of a covariate shift, there is no strong correspondence between the correction of attribution towards the features a human expert has labelled as important and generalization performance. These results suggest that the root cause of poor generalization may not always be spatially defined, and raise questions about the utility of masks as "attribution priors" as well as saliency maps for explainable predictions.

研究动机与目标

• 调查显著性图是否能可靠诊断深度模型因捷径学习导致的泛化能力差问题。
• 评估使用专家标注掩码（归因先验）进行正则化是否能同时提升泛化能力和归因质量。
• 检验泛化能力提升是否与模型显著性图和人类标注感兴趣区域之间的对齐程度提高相关。
• 评估将掩码作为先验以控制视觉模型特征归因的局限性。
• 探索基于归因的方法在分布外设置下是否可作为模型正确性的可信指标。

提出的方法

• 构建了一个合成数据集，其中模型因过拟合于空间上独立的混淆因子而非复杂计数任务而过拟合。
• 构建了两个真实世界的医学影像任务——RSNA（视图病理关联）和MIMIC-CXR（部位病理关联），并控制了训练-测试的协变量偏移。
• 评估了多种归因感知方法：RRR、GradMask、对抗域不变性，以及一种新方法ActDiff，该方法最小化掩码输入与未掩码输入之间的激活差异。
• 使用积分梯度计算显著性图，并通过与专家掩码的交并比（IoU）衡量归因质量。
• 在协变量偏移条件下，使用分布外测试集的AUC评估泛化能力。
• 通过多次随机种子实验评估模型的稳定性和变异性。

实验结果

研究问题

• RQ1 通过归因先验提升模型泛化能力是否能带来显著性图与专家标注区域之间更好的对齐？
• RQ2 改进的分布外泛化性能与改进的显著性图质量（与专家掩码的IoU）之间是否存在可靠的关联？
• RQ3 显著性图能否作为识别视觉模型中捷径学习或过拟合的诊断工具？
• RQ4 基于输入掩码的归因先验是否能一致地提升泛化能力和特征归因质量？
• RQ5 在协变量偏移下，不同归因感知正则化技术在提升泛化能力和显著性图对齐方面的表现如何比较？

主要发现

• 尽管在分布外泛化能力上取得显著提升（AUC），多个模型——尤其是RSNA VPC数据集上的ActDiff——在与专家掩码的显著性图对齐（IoU）方面未见改善甚至出现退化。
• 在真实世界的医学数据集中，AUC（泛化能力）与IoU（归因质量）之间的相关性微弱或完全缺失，而合成数据集中则观察到正相关。
• 使用归因先验正则化的模型在协变量偏移下提升了泛化能力，但并未一致产生与专家标注区域对齐的显著性图，表明泛化能力与归因保真度之间存在解耦。
• ActDiff方法在某些设置下将AUC提升了最多0.25，但IoU下降超过0.15，表明泛化能力与显著性质量之间存在明显脱节。
• 即使明确正则化以忽略掩码外的特征，模型仍会将注意力集中在掩码外区域，表明混淆特征仍可从掩码内重建。
• 结果挑战了将显著性图作为模型过拟合诊断工具的有效性，因为良好的泛化并不意味着良好的归因，反之亦然。