[論文レビュー] Explaining Classifiers with Causal Concept Effect (CaCE)

Yash Goyal, Amir Feder+2 more|arXiv (Cornell University)|Jul 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 92

ひとこと要約

This paper defines CaCE as the causal effect of a human-interpretable concept on a classifier’s output and proposes VAE-based methods to estimate CaCE, mitigating confounding in global explanations.

ABSTRACT

How can we understand classification decisions made by deep neural networks? Many existing explainability methods rely solely on correlations and fail to account for confounding, which may result in potentially misleading explanations. To overcome this problem, we define the Causal Concept Effect (CaCE) as the causal effect of (the presence or absence of) a human-interpretable concept on a deep neural net's predictions. We show that the CaCE measure can avoid errors stemming from confounding. Estimating CaCE is difficult in situations where we cannot easily simulate the do-operator. To mitigate this problem, we use a generative model, specifically a Variational AutoEncoder (VAE), to measure VAE-CaCE. In an extensive experimental analysis, we show that the VAE-CaCE is able to estimate the true concept causal effect, compared to baselines for a number of datasets including high dimensional images.

研究の動機と目的

• CaCE を CaCE defined? 2? Wait: Ignore
• Define the causal concept effect (CaCE) as the average causal effect of a binary or categorical concept on a classifier’s output.
• Propose a framework to estimate CaCE using generative models to approximate the image generation process.
• Show that CaCE estimates can reduce confounding compared to correlation-based methods across varied datasets.
• Provide diagnostic tests to increase confidence in CaCE estimates.
• Demonstrate CaCE estimation on high-dimensional image data and discuss its applicability to black-box classifiers.

提案手法

• Introduce CaCE as E[f(I)|do(C0=1)] − E[f(I)|do(C0=0)], the average treatment effect of a concept on the classifier output.
• Model the image generation process with a conditional VAE (DC-VAE) conditioned on concepts and class labels to approximate p(I|C0, L).
• Propose Dec-CaCE, using only the VAE decoder to generate counterfactual images for CaCE estimation.
• Propose EncDec-CaCE, using both VAE encoder and decoder to estimate CaCE for specific images or sets of images.
• Provide diagnostic tests: (I) positive effect (concept equals label) and (II) null effect (random dummy concept).
• Evaluate CaCE with GT-CaCE in controlled settings and compare to ConExp and TCAV across datasets.

実験結果

リサーチクエスチョン

• RQ1 CaCE は高レベル概念が分類器の出力に及ぼす因果的影響を、単なる相関ではなく定量化できるか。
• RQ2 条件付き VAE が真の画像生成過程をどの程度正確に近似して CaCE を推定できるか。
• RQ3 Dec-CaCE および EncDec-CaCE は、ベースラインと比較して偏りのない、またはより正確な CaCE 推定を提供するか。
• RQ4 診断テストは CaCE 推定が混乱を受けている、または信頼できない可能性を特定するのに役立つか。
• RQ5 合成データと現実の高次元画像データセットにおいて CaCE 推定はどのように振る舞うか。

主な発見

• CaCE 推定値（Dec-CaCE および EncDec-CaCE による）は、管理されたデータセットで ground-truth CaCE と一致し、混乱が存在する場合は相関ベースのベースラインより低くなる傾向がある。
• Dec-CaCE が一般に GT-CaCE を BARS および Colored-MNIST データセットで一致させる点で EncDec-CaCE を上回る。
• CaCE 推定は提案手法を用いた場合、COCO-Miniplaces および CelebA の高次元設定で ConExp および TCAV より真の値に近い。
• CaCE は分類器の複雑さとともに増加する傾向があり、より豊かな生成モデル（畳み込み DC-VAE）を用いると、より単純なアーキテクチャより GT-CaCE に近い推定値を得られる。
• 診断テストは VAE ベースのアプローチの潜在的な失敗を示すことができ、強い混乱下での限界を浮き彫りにする。