[論文レビュー] A Closer Look at the Intervention Procedure of Concept Bottleneck Models

Sungbin Shin, Yohan Jo+2 more|arXiv (Cornell University)|Feb 28, 2023

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本論文は concept bottleneck models（CBMs）に対する改良された介入戦略を分析・提案し、情報に基づく概念選択が同じ介入予算の下でタスク精度を劇的に向上させられることを示し、信頼性と公正性の落とし穴を指摘する。

ABSTRACT

Concept bottleneck models (CBMs) are a class of interpretable neural network models that predict the target response of a given input based on its high-level concepts. Unlike the standard end-to-end models, CBMs enable domain experts to intervene on the predicted concepts and rectify any mistakes at test time, so that more accurate task predictions can be made at the end. While such intervenability provides a powerful avenue of control, many aspects of the intervention procedure remain rather unexplored. In this work, we develop various ways of selecting intervening concepts to improve the intervention effectiveness and conduct an array of in-depth analyses as to how they evolve under different circumstances. Specifically, we find that an informed intervention strategy can reduce the task error more than ten times compared to the current baseline under the same amount of intervention counts in realistic settings, and yet, this can vary quite significantly when taking into account different intervention granularity. We verify our findings through comprehensive evaluations, not only on the standard real datasets, but also on synthetic datasets that we generate based on a set of different causal graphs. We further discover some major pitfalls of the current practices which, without a proper addressing, raise concerns on reliability and fairness of the intervention procedure.

研究の動機と目的

• CBMs における異なる概念選択基準が介入効果に与える影響を評価する。
• 費用・レベル・データ条件の多様性の下で複数の介入戦略を開発・評価する。
• 訓練スキームと概念の概念化が介入結果に与える影響を調査する。
• さまざまな因果グラフにわたる介入を研究するための合成データフレームワークを作成する。
• 信頼性と公正性に関連する現在の介入実践の落とし穴を特定する。

提案手法

• 概念予測器 g とターゲット予測器 f を用いて CBM を定義する：まず hat{c}=g(x)、次に hat{y}=f(hat{c})。
• 介入する概念を決定するために、s_i のスコアを用いた rand, ucp, lcp, cctp, ectp, eudtp などのさまざまな概念選択基準を提案する。
• tau_i, tau_g, tau_f で介入コストを分析し、介入手順の総コスト式を導出する。
• 異なるレベル（個人／グループ；単一／バッチ）と概念表現（soft、hard、samp）で介入を探索する。
• 異なるスキーム（ind、seq、jnt、jnt+p）と異なる概念化（soft、hard、samp）でCBMを訓練し、介入との相互作用を研究する。
• 実データセット（CUB、SkinCon）と因果グラフから生成された合成データを用いて、介入戦略の堅牢性と一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 同じ介入予算の下で、異なる概念選択基準がCBMsにおける介入の効果にどのように影響するか？
• RQ2 介入レベル（個人／グループ、単一／バッチ）と概念表現がタスク性能と信頼性にどのように影響するか？
• RQ3 訓練戦略と概念の概念化が介入効果とどのように相互作用するか？
• RQ4 データ特性（ノイズ、隠れ概念、概念の多様性）が介入結果に与える影響は何か？
• RQ5 現在の介入実践に現れる信頼性と公正性の落とし穴は何であり、それをどう緩和できるか？

主な発見

• 情報に基づく介入戦略は、同じ数の介入概念で現在のベースラインと比較してタスク誤差を10倍以上低減できる。
• CUB では、ランダム介入で20個の概念を訂正するとタスク誤差が<4%低減される一方、不確実性に基づく選択（ucp）を用いると、わずか12個の訂正概念で同様の向上を得られる。
• SkinCon では、ectp 戦略が介入を主導することが多いが、得られる効果はCUBより小さい。ground-truth 概念情報が利用可能な場合、lcp は良好に機能する。
• 介入戦略の有効性はデータ特性と介入の粒度に依存することが、データグラフが結果に著しく影響する合成データ実験で示されている。
• 介入は逆効果になることがある：void 概念を無効化する（nvc）とタスク誤差が増える可能性があり、過半数投票はマイノリティに対する予測を偏らせる可能性がある。信頼性と公正性の懸念を浮き彫りにする。
• 訓練戦略は介入と相互作用する；ind 訓練は一般に最も強い介入効果を生むが、seq/jnt はデータと概念次第で利益を減らしたり無効化したりする可能性がある。