[论文解读] Concept-level Debugging of Part-Prototype Networks

Andrea Bontempelli, Stefano Teso+3 more|arXiv (Cornell University)|May 31, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出 ProtoPDebug，一种针对部分原型网络（ProtoPNets）的概念级调试框架，使人类监督者能够通过指定应遗忘或保留的部件原型来纠正模型行为。通过利用模型解释和一种新型损失函数，ProtoPDebug 相较于输入级调试方法，将标注成本降低了高达 80%，并提升了泛化能力。

ABSTRACT

Part-prototype Networks (ProtoPNets) are concept-based classifiers designed to achieve the same performance as black-box models without compromising transparency. ProtoPNets compute predictions based on similarity to class-specific part-prototypes learned to recognize parts of training examples, making it easy to faithfully determine what examples are responsible for any target prediction and why. However, like other models, they are prone to picking up confounders and shortcuts from the data, thus suffering from compromised prediction accuracy and limited generalization. We propose ProtoPDebug, an effective concept-level debugger for ProtoPNets in which a human supervisor, guided by the model's explanations, supplies feedback in the form of what part-prototypes must be forgotten or kept, and the model is fine-tuned to align with this supervision. Our experimental evaluation shows that ProtoPDebug outperforms state-of-the-art debuggers for a fraction of the annotation cost. An online experiment with laypeople confirms the simplicity of the feedback requested to the users and the effectiveness of the collected feedback for learning confounder-free part-prototypes. ProtoPDebug is a promising tool for trustworthy interactive learning in critical applications, as suggested by a preliminary evaluation on a medical decision making task.

研究动机与目标

• 解决 ProtoPNets 中混杂因素和捷径问题，这些问题尽管具有可解释性，但仍损害模型的泛化能力和公平性。
• 降低现有调试方法的高标注成本，这些方法需要逐实例的输入级反馈（例如，像素级相关性掩码）。
• 通过允许用户对部件原型提供高层次、基于概念的反馈，实现人机协同调试，此类反馈可泛化至多个样本。
• 通过主动遗忘混杂的部件原型并保留高质量、因果相关的原型，提升模型鲁棒性。
• 在真实世界和合成设置中（包括医学影像任务）证明概念级反馈的有效性。

提出的方法

• 利用 ProtoPNets 内在的基于案例的解释能力，向用户展示哪些部件原型对预测结果负责。
• 允许人类监督者通过检查模型解释，将特定部件原型标记为“应被遗忘”或“应被保留”来提供反馈。
• 引入一种双损失函数：遗忘损失，用于惩罚与混杂概念相似的原型；保留损失，用于保护高质量原型。
• 使用反馈和双损失对 ProtoPNet 进行微调，仅更新部件原型参数，同时保持特征提取器固定。
• 通过在概念层面（即部件原型）操作，实现反馈在不同样本间的泛化，避免逐例标注。
• 将 ProtoPDebug 与现有 ProtoPNet 变体（包括 iProto-TREX 和 ProSeNets）集成，仅需极少的架构修改。

实验结果

研究问题

• RQ1 与输入级反馈相比，能否有效使用概念级反馈来显著降低 ProtoPNets 的标注成本？
• RQ2 ProtoPDebug 是否能成功消除混杂的部件原型，同时保留有用的因果原型？
• RQ3 ProtoPDebug 在防止复发和保持分布外数据鲁棒性方面表现如何？
• RQ4 在模型解释的引导下，非专家用户是否能够提供可靠且有效的反馈？
• RQ5 ProtoPDebug 是否可成功应用于真实世界、高风险的应用场景，如医学图像分类？

主要发现

• ProtoPDebug 相较于最先进的输入级调试方法，将标注成本降低了高达 80%，同时实现了更优的性能。
• 经过调试后，模型在泛化能力和分布外准确率方面得到提升，尤其在存在强混杂因素的数据集（如带水印的 X 光片和天空/植被区域）上表现更优。
• 一项面向非专业人士的在线实验表明，用户仅依靠模型解释即可可靠地识别并纠正混杂的部件原型，反馈质量较高。
• ProtoPDebug 通过遗忘损失主动防止模型重新学习混杂概念，从而有效防止复发。
• 该方法在修复现有缺陷和防止新缺陷方面，优于现有调试器，在合成数据集和真实世界数据集上均表现更优。
• 在医学决策任务（ChestX-ray14）上的初步评估表明，ProtoPDebug 提升了模型在关键应用中的可信度与可靠性。