[论文解读] Learning to Intervene on Concept Bottlenecks

David Steinmann, Wolfgang Stammer+2 more|arXiv (Cornell University)|Aug 25, 2023

Data Stream Mining Techniques被引用 4

一句话总结

本文提出概念瓶颈记忆模型（CB2M），作为概念瓶颈模型（CBMs）的新型扩展，通过双重记忆机制实现从人类干预中学习并泛化至未见数据。通过存储过往错误与纠正干预，CB2M可在无需进一步人工反馈的情况下自动重用纠正措施，显著提升模型在分布偏移和混淆数据下的鲁棒性，同时减少所需的人机交互次数。

ABSTRACT

While deep learning models often lack interpretability, concept bottleneck models (CBMs) provide inherent explanations via their concept representations. Moreover, they allow users to perform interventional interactions on these concepts by updating the concept values and thus correcting the predictive output of the model. Up to this point, these interventions were typically applied to the model just once and then discarded. To rectify this, we present concept bottleneck memory models (CB2Ms), which keep a memory of past interventions. Specifically, CB2Ms leverage a two-fold memory to generalize interventions to appropriate novel situations, enabling the model to identify errors and reapply previous interventions. This way, a CB2M learns to automatically improve model performance from a few initially obtained interventions. If no prior human interventions are available, a CB2M can detect potential mistakes of the CBM bottleneck and request targeted interventions. Our experimental evaluations on challenging scenarios like handling distribution shifts and confounded data demonstrate that CB2Ms are able to successfully generalize interventions to unseen data and can indeed identify wrongly inferred concepts. Hence, CB2Ms are a valuable tool for users to provide interactive feedback on CBMs, by guiding a user's interaction and requiring fewer interventions.

研究动机与目标

• 为解决概念瓶颈模型（CBMs）中一次性人工干预效率低下问题，此类干预需重复获取用户反馈，导致用户疲劳。
• 使CBMs能够从过往干预中学习，并将这些干预泛化至新颖且未见过的样本，而无需进一步人工输入。
• 在任何人工反馈可用之前自主检测模型错误，从而实现对用户更有针对性且高效的查询。
• 提供一种与模型无关的CBM扩展，通过可重用的干预知识增强可解释性与交互式学习。

提出的方法

• CB2M通过双重记忆机制扩展标准CBMs：一个用于存储检测到的模型错误（基于概念预测误差），另一个用于存储先前应用的人工干预。
• 模型采用k近邻（k-NN）方法，k=1，检索最接近的过往错误，并将其对应的干预应用于相似的新样本。
• 错误检测机制通过在概念激活分数上使用阈值方法，识别瓶颈网络概念预测可能出错的数据点。
• 随着新干预的提供，记忆动态更新，使模型能够在无需从头训练的情况下持续适应与改进。
• 该框架设计为与模型无关，支持与任何CBM架构集成，并同时支持干预泛化与主动学习。
• 系统可检测系统性错误（如在混淆数据中的错误），并引导人工反馈至最具信息量的样本，从而减少所需交互次数。

Figure 1: Reusing a CBM intervention can correct model mistakes for multiple examples. Top: CBMs generate a human interpretable concept representation to solve the final task. Human users can correct these concept predictions via targeted interventions (blue) influencing the final prediction. Bottom

实验结果

研究问题

• RQ1 CBM是否能在无需额外人工反馈的情况下，将人工干预泛化至未见过的数据？
• RQ2 在缺乏初始人工干预的情况下，CB2M检测模型错误的效率如何？
• RQ3 在分布偏移和混淆训练数据下，CB2M在多大程度上提升了模型性能？
• RQ4 CB2M中的记忆机制在保持或提升预测准确性的前提下，能否减少所需的人工干预次数？

主要发现

• CB2M成功将干预泛化至此前未见的样本，在分布偏移和混淆数据场景下显著提升了模型性能。
• 模型在无任何人工反馈前即可检测到系统性错误（如在混淆数据中错误的概念预测），从而实现有针对性的查询。
• CB2M通过聚焦于最棘手的样本提供反馈，减少了所需的人工干预次数，提升了交互效率。
• 双重记忆机制使模型在无需重新训练的情况下自动纠正重复错误，展示了从极少反馈中持续提升性能的能力。
• 实验表明，CB2M在涉及概念漂移和虚假相关性的场景中优于标准CBMs，尤其在干预稀疏时表现更优。

Figure 2: Overview of CB2M to detect mistakes or generalize interventions. A vanilla CBM (grey) is extended with a two-fold memory (orange and green). The memory compares encodings of new samples to known mistakes to (i) detect model errors or (ii) automatically correct the model via reuse of interv