[論文レビュー] Explaining Image Classifiers by Counterfactual Generation

Chun‐Hao Chang, Elliot Creager+2 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis被引用数 89

ひとこと要約

FIDOは、遮蔽された領域を埋める強力な条件付き生成モデルを用いて、妥当な反事実入力を周辺化することで画像分類器を説明し、簡潔で分布整合的な顕著性マップを生成する。

ABSTRACT

When an image classifier makes a prediction, which parts of the image are relevant and why? We can rephrase this question to ask: which parts of the image, if they were not seen by the classifier, would most change its decision? Producing an answer requires marginalizing over images that could have been seen but weren't. We can sample plausible image in-fills by conditioning a generative model on the rest of the image. We then optimize to find the image regions that most change the classifier's decision after in-fill. Our approach contrasts with ad-hoc in-filling approaches, such as blurring or injecting noise, which generate inputs far from the data distribution, and ignore informative relationships between different parts of the image. Our method produces more compact and relevant saliency maps, with fewer artifacts compared to previous methods.

研究の動機と目的

• 決定を最も変える可能性があるのは、未視認のままだった場合の画像領域であると問うことによって、微分可能な画像分類器の解釈可能な説明を動機づける。
• ヒューリスティックな埋め戻し（例：ぼかし）を超え、生成モデルを介してデータ分布を条件付けすることへ。
• 観測されていない画素を周辺化する、スケーラブルでモデルに依存しない顕著性フレームワークを開発する。
• 画像の文脈関係を尊重しつつ、圧縮性が高くアーティファクトのない説明を促進する。

提案手法

• 遮蔽された画像領域を周辺化することで顕著性を定義し、条件付き生成モデルを用いてもっともらしい埋めをサンプルする。
• マスクをベルヌーイドロップアウト分布で表現し、SDR/SSR目的の下で分類器の信頼度を最小化/最大化するようにパラメータを最適化する。
• 二値マスク上の勾配ベースの最適化を可能にするために、Concrete/Gumbel-softmax再パラメータ化を使用する。
• ドロップアウトされた領域を、未マスクの文脈に条件づけられた強力な生成モデル（例：CA-GAN）のサンプルで埋める。
• SDRとSSR目的を比較し、トレーニングデータとの整合性が高くアーティファクトを減らすためSSRを選択する。
• 実用的なアルゴリズム（BBMP対FIDO）を提供し、効率的な最適化の実装詳細を論じる。

実験結果

リサーチクエスチョン

• RQ1 データ分布内に留まりつつ、削除や置換が分類器の出力に最も影響を与える画像領域をどのように特定できるか。
• RQ2 埋め戻しに強力な条件付き生成モデルを用いると、ヒューリスティックな埋め戻しと比較して顕著性マップの品質と妥当性が向上するか。
• RQ3 現実的な埋め戻しの下で、どの目的（SDRまたはSSR）がより忠実でアーティファクトが少ない説明を生み出すか。
• RQ4 さまざまな埋め戻し法と分類器アーキテクチャが、顕著性の品質と計算効率にどのような影響を与えるか。
• RQ5 このアプローチはImageNetにスケールでき、競争力のある弱教師付き局在化性能を提供できるか。

主な発見

• FIDOはヒューリスティックな埋め戻しや既存手法よりも、よりコンパクトでアーティファクトのない顕著性マップを生成する。
• 生成的埋め戻し（例：CA-GAN）は、評価対象の画像全体でヒューリスティックな埋め戻しよりも高いターゲット確率とアーティファクトをより少なくする。
• 強力な生成埋めでSSRを使用すると、SDRよりも説明が一貫性を持ち、アーティファクトが生じやすいSDRを回避できる。
• FIDO-CA顕著性マップは、分類器の信頼度を保持する文脈的な画素に集中し、データ多様体を尊重しつつ人間にとってRelevantな領域と一致することが多い。
• ImageNetでの定量評価は、ベースラインや過去の顕著性手法と比較して局在化指標の改善を示す。
• アブレーション研究は、離散マスクモデル化（ベルヌーイドロップアウト）と表現力のある埋め戻しの両方が、最適な説明に不可欠であることを示している。