[論文レビュー] Counterfactual Visual Explanations

Yash Goyal, Ziyan Wu+4 more|arXiv (Cornell University)|Apr 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 38

ひとこと要約

tldr: 本論文は、クエリ画像の領域をディストラクター画像の領域で編集してモデルの予測を変えることで、反事実的な視覚説明を生成する方法を提示し、複数のデータセットにわたってその解釈性と教育的有用性を示しています。

ABSTRACT

In this work, we develop a technique to produce counterfactual visual explanations. Given a 'query' image $I$ for which a vision system predicts class $c$, a counterfactual visual explanation identifies how $I$ could change such that the system would output a different specified class $c'$. To do this, we select a 'distractor' image $I'$ that the system predicts as class $c'$ and identify spatial regions in $I$ and $I'$ such that replacing the identified region in $I$ with the identified region in $I'$ would push the system towards classifying $I$ as $c'$. We apply our approach to multiple image classification datasets generating qualitative results showcasing the interpretability and discriminativeness of our counterfactual explanations. To explore the effectiveness of our explanations in teaching humans, we present machine teaching experiments for the task of fine-grained bird classification. We find that users trained to distinguish bird species fare better when given access to counterfactual explanations in addition to training examples.

研究の動機と目的

• 深層視覚モデルに対する反事実的な視覚的説明の動機づけと形式化。
• 画像領域を置換してモデルの出力を特定のディストラクタークラスへ変える最小編集変換を定義。
• データセット全体で反事実的説明の解釈可能性と識別性を示す。
• 微細分類タスクの機械教示における反事実的説明の可能性を示す。

提案手法

• CNNを空間的特徴抽出器 f(I) と決定ネットワーク g(f(I)) に分解する。
• 領域を alignment のための二値マスク a と置換 P を用いて、変換 f(I) -> f(I*) = (1-a) ∘ f(I) + a ∘ (P f(I′)) を定義する。
• 最小編集の反事実問題を定式化する: ||a||1 を最小化する条件は c′ = argmax g(f(I*))。
• 決定が変わるまで反復し、ディストラクタークラスの対数尤度 g_c′ を最大化する編集を選択する編集を貪欲逐次全探索で解く。
• a をシンプシートへ、P を右確率行列へ緩和する連続緩和を提供し、softmax再パラメータ化 a = σ(α) および P_i· = σ(m_i^T)。
• SHAPES、MNIST、Omniglot、CUB で定性的な結果と、編集回数や実行時間などの定量的指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 別のクラスを予測するために何を変える必要があるかを示す、忠実な反事実的視覚説明をどのように生成できるか？
• RQ2 反事実的視覚説明は、標準的な訓練例を超えて、人間が微細なカテゴリーを学習・識別するのに役立つか（機械教示）？
• RQ3 説明はデータセット全体で識別的な画像領域とキーポイントとどのように整合するか？
• RQ4 異なるディストラクターの選択（ランダム vs 最近傍）で説明はどれくらい安定しているか？

主な発見

• 反事実的説明は、ターゲットのディストラクタークラスを可能にする識別的な領域編集を特定し、データセット全体で解釈可能な領域の組み合わせを示す。
• MNIST の結果は、ディストラクタークラスへ反転させる編集の平均が 2.67、Titan Xp で画像あたり 15 μs。
• Omniglot の結果は、画像あたり平均 1.46 編集、実行時間 9 μs/画像。
• CUB の実験では、ランダムディストラクターで平均 7.4、最近傍ディストラクターで平均 5.3、画像あたりの実行時間はそれぞれ 1.85 s および 1.34 s。
• CUB の機械教示では、反事実的説明で平均テスト精度 78.77%、GradCAM で 74.29%、説明なしで 71.09%；慣れがあると、反事実的説明で 72.4%、説明なしで 61.7% に向上する。
• 識別的な領域はしばしば鳥のセグメンテーション内にあり（97%）、キーポイントと一致する頻度は 75-80%。説明は予測が間違っていても正しいクラス属性を強調できる。