[論文レビュー] Explaining Image Classifiers by Adaptive Dropout and Generative In-filling.

Chun‐Hao Chang, Elliot Creager+2 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文では、欠損領域の現実的な画像補填を生成する条件付き生成モデルを用いて、画像分類器の説明を新たに提案する。その後、分類器の予測が最も変化する領域を同定するために最適化を行う。従来のぼやけやノイズを用いた不自然な補填手法とは異なり、データ分布からのサンプリングにより、より正確でコンactかつアーチファクトのないサリエンシー・マップを生成する。従来手法に比べて優れた性能を発揮する。

ABSTRACT

When an image classifier makes a prediction, which parts of the image are relevant and why? We can rephrase this question to ask: which parts of the image, if they were not seen by the classifier, would most change its decision? Producing an answer requires marginalizing over images that could have been seen but weren't. We can sample plausible image in-fills by conditioning a generative model on the rest of the image. We then optimize to find the image regions that most change the classifier's decision after in-fill. Our approach contrasts with ad-hoc in-filling approaches, such as blurring or injecting noise, which generate inputs far from the data distribution, and ignore informative relationships between different parts of the image. Our method produces more compact and relevant saliency maps, with fewer artifacts compared to previous methods.

研究の動機と目的

• ぼやけやノイズ注入といった現実的でない補填手法に依存する従来のサリエンシー手法に見られる忠実な帰属付けの欠如を是正すること。
• 与えられた予測に対して、最も影響力のある画像領域を同定することで、深層画像分類器の解釈可能性を向上させること。
• 生成モデルを用いてデータ分布からの妥当な補填を生成することで、画像部品間の構造的・意味的関係を尊重する手法を開発すること。
• 分類器の真の意思決定プロセスをよりよく反映する、よりコンパクトで関連性の高いサリエンシー・マップを生成すること。

提案手法

• 画像の可視部分を条件として、欠損領域の妥当な補填を生成する生成モデルを条件づける。
• 適応的ドロップアウトを用い、異なる画像領域を体系的にマスクし、分類器出力への影響を評価する。
• マスクされた領域の最適化により、分類器の予測を最も顕著に変化させる領域を同定する。
• 生成モデルが部品間の関係を保持する現実的な補填を生成できる能力を活用し、分布の不一致を回避する。
• 生成モデルを用いてこの分布を近似することで、妥当でない未観測画像領域のマージナリゼーション問題として説明タスクを定式化する。
• 分類器の勾配と生成的補填を組み合わせ、真のモデル行動を反映する高精細なサリエンシー・マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 どの画像領域が分類器の予測にとって最も重要であり、ヒューリスティックな補填手法に依存せずにそれらを同定する方法は何か？
• RQ2 データ分布に適応した補填手法を用いることで、標準的なベースラインと比較してサリエンシー・マップの品質と忠実性はどのように向上するか？
• RQ3 生成的補填は、画像部品間の構造的・意味的関係をどの程度保持することができ、より正確な説明をもたらすか？
• RQ4 適応的ドロップアウトと生成的補填を組み合わせることで、従来の勾配ベースや摂動ベースの手法と比較して、よりコンパクトでノイズの少ないサリエンシー・マップを生成できるか？

主な発見

• 提案手法は、ぼやけやノイズ注入を用いたベースライン手法と比較して、よりコンパクトでアーチファクトの少ないサリエンシー・マップを生成する。
• データ分布からの補填を生成することで、画像部品間の意味的な関係を捉え、より忠実な説明が可能になる。
• 不適切な補填手法に比べ、生成された補填がより現実的かつ文脈的に整合的であるため、関連する画像領域をより効果的に同定できる。
• 条件付き生成の能力により、妥当でない未観測画像領域のマージナリゼーションが改善され、説明の信頼性が向上する。