[论文解读] A Closer Look at the Intervention Procedure of Concept Bottleneck Models

Sungbin Shin, Yohan Jo+2 more|arXiv (Cornell University)|Feb 28, 2023

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文分析并提出针对概念瓶颈模型（CBMs）的改进干预策略，表明在相同干预预算下，知情的概念选择可以显著提高任务准确率，并强调可靠性与公平性方面的潜在问题。

ABSTRACT

Concept bottleneck models (CBMs) are a class of interpretable neural network models that predict the target response of a given input based on its high-level concepts. Unlike the standard end-to-end models, CBMs enable domain experts to intervene on the predicted concepts and rectify any mistakes at test time, so that more accurate task predictions can be made at the end. While such intervenability provides a powerful avenue of control, many aspects of the intervention procedure remain rather unexplored. In this work, we develop various ways of selecting intervening concepts to improve the intervention effectiveness and conduct an array of in-depth analyses as to how they evolve under different circumstances. Specifically, we find that an informed intervention strategy can reduce the task error more than ten times compared to the current baseline under the same amount of intervention counts in realistic settings, and yet, this can vary quite significantly when taking into account different intervention granularity. We verify our findings through comprehensive evaluations, not only on the standard real datasets, but also on synthetic datasets that we generate based on a set of different causal graphs. We further discover some major pitfalls of the current practices which, without a proper addressing, raise concerns on reliability and fairness of the intervention procedure.

研究动机与目标

• 评估不同概念选择标准如何影响 CBMs 中干预的有效性。
• 在不同成本、层级和数据条件下开发并评估多种干预策略。
• 研究训练方案和概念概念化如何影响干预结果。
• 创建合成数据框架，以在多样化的因果图中研究干预。
• 识别当前干预实践在可靠性与公平性方面的陷阱。

提出的方法

• 定义带有概念预测器 g 与目标预测器 f 的 CBM：先记 hat{c}=g(x)，再 hat{y}=f(hat{c})。
• 提出多种概念选择标准（rand、ucp、lcp、cctp、ectp、eudtp），用分数 s_i 决定对哪些概念进行干预。
• 用 tau_i、tau_g、tau_f 分析干预成本，并推导干预过程的总体成本表达式。
• 在不同水平（个体 vs 组；单个 vs 批量）和概念表示（soft、hard、samp）下探索干预。
• 在不同训练方案（ind、seq、jnt、jnt+p）以及不同概念化（soft、hard、samp）下训练 CBMs，以研究与干预的相互作用。
• 使用真实数据集（CUB、SkinCon）以及从因果图生成的合成数据，检验干预策略的鲁棒性和泛化性。

实验结果

研究问题

• RQ1 不同概念选择标准在相同干预预算下如何影响 CBMs 的干预效果？
• RQ2 干预水平（个体/组，单个/批量）和概念表示如何影响任务性能与可靠性？
• RQ3 训练策略与概念概念化如何与干预效果相互作用？
• RQ4 数据特征（噪声、隐藏概念、概念多样性）对干预结果有何影响？
• RQ5 当前干预实践中有哪些可靠性与公平性方面的陷阱，如何缓解？

主要发现

• 有信息的干预策略在相同数量干预概念的前提下，相比当前基线可将任务错误率降低十倍以上。
• 在 CUB 数据集上，随机干预纠正 20 个概念可以使任务错误减少不到 4%，而使用基于不确定性的选择（ucp）仅纠正 12 个概念就可获得类似增益。
• 在 SkinCon 数据集上，ectp 策略通常领先干预，但增益比 CUB 小；当真实概念信息可用时，lcp 表现良好。
• 干预策略的有效性取决于数据特征和干预粒度，如合成数据实验所示，数据图显著影响结果。
• 干预也可能适得其反：使无效概念（nvc）失效可能增加任务错误，多数投票可能让预测对少数群体产生偏见，凸显可靠性与公平性问题。
• 训练策略与干预相互作用；通常独立训练（ind）可带来最强的干预收益，而 seq/jnt 的效果则可能根据数据和概念而减弱或抵消收益。