[論文レビュー] Meaningfully Debugging Model Mistakes using Conceptual Counterfactual Explanations

Abubakar Abid, Mert Yüksekgönül+1 more|arXiv (Cornell University)|Jun 24, 2021

Data Stream Mining Techniques被引用数 10

ひとこと要約

本稿では、学習データや再訓練を必要とせずに、人間が理解可能な概念を用いてモデルの誤りを説明する、概念的対極的説明（CCE）を提案する。CCEは、学習済みの概念活性化ベクトルを用いて埋め込み空間内で対極的摂動を生成することで、画像分類器における誤った相関関係やバイアスを同定し、臨床医による確認が得られた医療画像分野での有効性を検証する。

ABSTRACT

Understanding and explaining the mistakes made by trained models is critical to many machine learning objectives, such as improving robustness, addressing concept drift, and mitigating biases. However, this is often an ad hoc process that involves manually looking at the model's mistakes on many test samples and guessing at the underlying reasons for those incorrect predictions. In this paper, we propose a systematic approach, conceptual counterfactual explanations (CCE), that explains why a classifier makes a mistake on a particular test sample(s) in terms of human-understandable concepts (e.g. this zebra is misclassified as a dog because of faint stripes). We base CCE on two prior ideas: counterfactual explanations and concept activation vectors, and validate our approach on well-known pretrained models, showing that it explains the models' mistakes meaningfully. In addition, for new models trained on data with spurious correlations, CCE accurately identifies the spurious correlation as the cause of model mistakes from a single misclassified test sample. On two challenging medical applications, CCE generated useful insights, confirmed by clinicians, into biases and mistakes the model makes in real-world settings.

研究の動機と目的

• モデルの誤りを手動で個別にデバッグするアドホックなプロセスを、体系的で解釈可能な方法で代替すること。
• 画像の色合い、ストライプ、視角といった高レベルの、人間が理解可能な概念を用いて、モデルが特定のテストサンプルでなぜ失敗するかを説明すること。
• 学習データや再訓練にアクセスできない状況でも、モデル内の誤った相関関係やデータバイアスを検出すること。
• モデルの誤りが臨床的結果に影響を及える実世界の医療応用分野で、この手法の有効性を検証すること。
• 白ボックスモデルへのアクセスと少数のラベル付き例による概念学習のみを用いて、迅速かつユーザーフレンドリーなモデル誤りデバッグを可能にすること。

提案手法

• CCEは、少数のラベル付き画像から、人間が理解可能な属性（例：ストライプ、側面視）の概念ライブラリを構築する。
• モデルの埋め込み表現を用いて、SVMを用いて概念活性化ベクトル（CAV）を学習する。
• 誤分類されたサンプルに対して、概念ベクトルの重み付き和を計算し、予測を是正する対極的摂動を生成する。
• 概念に正または負のスコアを割り当てる：高い正のスコアは、その概念を追加することで予測が改善することを示し、高い負のスコアは、その概念を削除することで予測が改善することを示唆する。
• CCEは埋め込み空間で動作するため、CPU上で1サンプルあたり0.3秒未満の効率的な推論が可能である。
• このアプローチは、モデルへのホワイトボックスアクセスのみを必要とし、学習データにアクセスせず、再訓練も行わない。

実験結果

リサーチクエスチョン

• RQ1 CCEは、人間が理解可能な概念を用いて、与えられたテストサンプルがなぜ誤分類されるかを体系的かつ一貫して説明できるか？
• RQ2 学習データにアクセスできない状況でも、1つの誤分類サンプルからモデル予測における誤った相関関係をCCEが検出できるか？
• RQ3 CCEは、画像の視覚角度や患者の人口統計的特徴への感受性といった医療モデルのバイアスを検出し、ドメインエキスパートによる確認を得られるか？
• RQ4 CCEは、画像の色合いや取得プロトコルにおける分布シフトといったドメインシフトの問題をどれほど効果的に特定できるか？
• RQ5 CCEは、画像分類を越えた異なるデータモダリティやタスクにも適用可能か？

主な発見

• 皮膚科の医療画像ケーススタディでは、CCEがモデルが皮膚画像を誤分類する原因として、皮膚の毛髪の存在を正しく同定した。これは、熟練した皮膚科医によって確認された。
• 心臓病学の応用では、100%の誤分類された側面視X線に対して、「側面視」という概念のスコアが最も低い負の値を示し、この特徴を削除すれば予測が改善することを示した。
• NIHのX線で学習したモデルがSHCの側面視画像で誤分類する原因は、その視点タイプに露出が不足していたためであり、CCEはこの原因を同定し、臨床的期待と一致した。
• CCEは、1つの概念あたり50枚の画像のみで効果的なCAVを学習でき、概念学習に必要なデータ量が少ないことを示した。
• CCEは、1つのCPU上で1サンプルあたり0.3秒未満で説明を生成でき、スケーラブルなデバッグを可能にした。
• 臨床医はCCEの説明が現実の医療現場で妥当かつ実行可能であると評価し、実用的価値を確認した。