[论文解读] Meaningfully Debugging Model Mistakes using Conceptual Counterfactual Explanations

Abubakar Abid, Mert Yüksekgönül+1 more|arXiv (Cornell University)|Jun 24, 2021

Data Stream Mining Techniques被引用 10

一句话总结

本文提出了概念性反事实解释（CCE），一种通过人类可理解的概念解释模型错误的方法，无需训练数据或微调。CCE通过在嵌入空间中使用学习到的概念激活向量生成反事实扰动，识别图像分类器中的虚假相关性和偏见——在医学影像中通过临床医生确认的见解验证了其有效性。

ABSTRACT

Understanding and explaining the mistakes made by trained models is critical to many machine learning objectives, such as improving robustness, addressing concept drift, and mitigating biases. However, this is often an ad hoc process that involves manually looking at the model's mistakes on many test samples and guessing at the underlying reasons for those incorrect predictions. In this paper, we propose a systematic approach, conceptual counterfactual explanations (CCE), that explains why a classifier makes a mistake on a particular test sample(s) in terms of human-understandable concepts (e.g. this zebra is misclassified as a dog because of faint stripes). We base CCE on two prior ideas: counterfactual explanations and concept activation vectors, and validate our approach on well-known pretrained models, showing that it explains the models' mistakes meaningfully. In addition, for new models trained on data with spurious correlations, CCE accurately identifies the spurious correlation as the cause of model mistakes from a single misclassified test sample. On two challenging medical applications, CCE generated useful insights, confirmed by clinicians, into biases and mistakes the model makes in real-world settings.

研究动机与目标

• 为解决调试模型错误时的临时性、手动化流程，提供一种系统化、可解释的方法。
• 使用高层次、人类可理解的概念（如图像色调、条纹或视角）解释模型为何在特定测试样本上失败。
• 在无法访问训练数据或微调模型的情况下，检测模型中的虚假相关性和数据偏见。
• 在真实世界医学应用中验证该方法的有效性，其中模型错误会产生临床后果。
• 仅通过白盒模型访问和少量标注示例学习概念，实现快速、用户友好的模型错误调试。

提出的方法

• CCE从少量标注图像中构建人类可理解属性（如条纹、侧位视图）的概念库。
• 使用支持向量机（SVM）在模型的嵌入表示上学习概念激活向量（CAVs）。
• 对于误分类样本，CCE计算概念向量的加权和，生成可纠正预测的反事实扰动。
• 该方法为概念分配正或负分数：高正值表示添加该概念可改善预测；高负值则表明移除该概念有助于改进预测。
• CCE在嵌入空间中运行，实现在CPU上每样本推理时间低于0.3秒的高效性能。
• 该方法仅需白盒访问模型，无需微调或访问训练数据。

实验结果

研究问题

• RQ1 CCE能否通过人类可理解的概念系统性地解释模型为何误分类某个给定测试样本？
• RQ2 CCE能否仅从一个误分类样本中检测到模型预测中的虚假相关性，而无需访问训练数据？
• RQ3 CCE能否识别医学模型中的偏见（如对图像视角或患者人口学特征的敏感性），并经领域专家确认这些见解？
• RQ4 CCE在识别领域偏移问题（如图像色调或采集协议的分布偏移）方面有多高效？
• RQ5 CCE能否应用于图像分类以外的不同数据模态和任务？

主要发现

• 在一项医学皮肤病学案例研究中，CCE正确识别出模型因皮肤毛发的存在而误分类皮肤图像，该结论经专业皮肤科医生确认。
• 在心脏病学应用中，CCE发现100%的误分类侧位X光片对“侧位视图”概念的得分最高为负值，表明移除该特征可改善预测。
• CCE检测到在NIH X光片上训练的模型在SHC侧位视图图像上失败，原因是缺乏对该视图类型的暴露，与临床预期一致。
• 该方法仅需每概念50张图像即可学习有效的CAV，证明了概念学习对数据量的低需求。
• CCE在单个CPU上每样本生成解释的时间低于0.3秒，实现了可扩展的调试能力。
• 临床医生验证了CCE解释的合理性与可操作性，确认其在真实世界医学环境中的实际效用。