[论文解读] Learning to Receive Help: Intervention-Aware Concept Embedding Models

Mateo Espinosa Zarlenga, Katherine M. Collins+4 more|arXiv (Cornell University)|Sep 29, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文提出了干预感知概念嵌入模型（IntCEMs），一种新颖的概念可解释神经网络架构，能够端到端学习干预策略，以提升模型在测试时对概念干预的响应能力。通过使用模拟干预轨迹的正则化目标进行训练，IntCEMs 在应用专家反馈时显著优于当前最先进模型，准确率提升明显，同时在无干预情况下仍保持优异性能。

ABSTRACT

Concept Bottleneck Models (CBMs) tackle the opacity of neural architectures by constructing and explaining their predictions using a set of high-level concepts. A special property of these models is that they permit concept interventions, wherein users can correct mispredicted concepts and thus improve the model's performance. Recent work, however, has shown that intervention efficacy can be highly dependent on the order in which concepts are intervened on and on the model's architecture and training hyperparameters. We argue that this is rooted in a CBM's lack of train-time incentives for the model to be appropriately receptive to concept interventions. To address this, we propose Intervention-aware Concept Embedding models (IntCEMs), a novel CBM-based architecture and training paradigm that improves a model's receptiveness to test-time interventions. Our model learns a concept intervention policy in an end-to-end fashion from where it can sample meaningful intervention trajectories at train-time. This conditions IntCEMs to effectively select and receive concept interventions when deployed at test-time. Our experiments show that IntCEMs significantly outperform state-of-the-art concept-interpretable models when provided with test-time concept interventions, demonstrating the effectiveness of our approach.

研究动机与目标

• 解决概念瓶颈模型（CBMs）在训练阶段缺乏对测试时概念干预响应能力的激励问题。
• 通过显式训练以增强对干预的响应能力，提升专家反馈下的模型性能。
• 开发一种可微分的、端到端的框架，在训练过程中学习最优干预策略。
• 在不干预时保持强大性能的同时，显著提升应用干预时的准确率。

提出的方法

• IntCEMs 基于概念嵌入模型（CEMs），将概念表示为高维嵌入，实现可微分的操控。
• 模型采用策略梯度方法端到端学习干预策略，选择最能提升预期性能的概念进行干预。
• 损失函数中引入一种新型正则化项，对基于学习策略生成的模拟干预序列后性能不佳的情况施加惩罚。
• 干预被建模为可微操作，使训练期间能够通过干预轨迹进行反向传播。
• 该架构通过双目标训练机制，联合优化预测准确率与对专家反馈的响应能力。

实验结果

研究问题

• RQ1 能否通过显式训练激励，使模型在训练阶段即具备更强的测试时概念干预响应能力？
• RQ2 在训练阶段学习干预策略，对应用专家反馈后的性能增益有何影响？
• RQ3 所提方法在干预场景下是否优于现有概念可解释模型？
• RQ4 模型能否在无干预时保持强性能，同时在提供反馈时表现出高度响应能力？

主要发现

• IntCEMs 在测试时干预任务中达到最先进性能，在 MNIST-Add-Incomp 上相比基线模型平均准确率提升 4.5%。
• 在 CUB-Incomp 上，IntCEMs 达到 91.47% 的准确率（干预率为 100%），比次佳方法高出 3.1 个百分点。
• 在 CelebA 的 50% 干预设置下，IntCEMs 使用学习策略达到 62.01% 的准确率，较随机干预提升 10.5%。
• 即使在无干预情况下，IntCEMs 仍保持竞争力，MNIST-Add 上准确率达到 99.51%，与最佳基线持平。
• 该模型学习到的干预策略在所有数据集和干预率下，均持续优于随机策略和启发式策略（如 CooP）。