[論文レビュー] ECINN: Efficient Counterfactuals from Invertible Neural Networks

Frederik Hvilshøj, Alexandros Iosifidis+1 more|arXiv (Cornell University)|Mar 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 40被引用数 10

ひとこと要約

ECINNは、逆可逆ニューラルネットワーク（INN）を1回の順方向および逆方向パスで通過するだけで、閉形式で潜在表現を補正することにより、効率的で現実的かつ最小限の摂動を持つ対応画像を生成する新規手法である。特に勾配ベースの手法がノイズが多くなるINNでは、一貫性があり高品質なヒートマップを生成する点で、既存手法を上回る性能を発揮する。

ABSTRACT

Counterfactual examples identify how inputs can be altered to change the predicted class of a classifier, thus opening up the black-box nature of, e.g., deep neural networks. We propose a method, ECINN, that utilizes the generative capacities of invertible neural networks for image classification to generate counterfactual examples efficiently. In contrast to competing methods that sometimes need a thousand evaluations or more of the classifier, ECINN has a closed-form expression and generates a counterfactual in the time of only two evaluations. Arguably, the main challenge of generating counterfactual examples is to alter only input features that affect the predicted outcome, i.e., class-dependent features. Our experiments demonstrate how ECINN alters class-dependent image regions to change the perceptual and predicted class of the counterfactuals. Additionally, we extend ECINN to also produce heatmaps (ECINNh) for easy inspection of, e.g., pairwise class-dependent changes in the generated counterfactual examples. Experimentally, we find that ECINNh outperforms established methods that generate heatmap-based explanations.

研究の動機と目的

• 数百～数千回のモデルクエリを必要とする従来の対応例生成手法の非効率性を是正すること。
• 画像分類において、クラスに依存する特徴のみを変更する、現実的で最小限かつ実行可能な対応例を生成できること。
• 逆可逆ニューラルネットワーク（INN）に対して、高品質で解釈可能なヒートマップを生成する手法を開発し、勾配ベースの説明手法が生じるノイズ問題を克服すること。
• INNの意味的に整理された潜在空間が、閉形式での対応例補正を可能にし、1パスの推論を実現できることを示すこと。

提案手法

• ECINNは、事前に学習済みの逆可逆ニューラルネットワーク（INN）を用い、入力画像をクラス依存特徴が意味的に整理された潜在空間にマッピングする。
• 対応例補正を、潜在空間における閉形式最適化として定式化することで、クラス関連特徴にのみ最小限で意味のある変更を加える。
• 予測をターゲットクラスにシフトさせるために潜在表現を補正した後、ECINNは逆INNを適用して補正済み潜在ベクトルから対応例画像を再構築する。
• この手法は、元画像と対応例画像の差分を分析することでヒートマップを計算するECINNhに拡張可能であり、クラス依存特徴の変化を視覚的に解釈可能にする。
• ECINNは、分類器の評価をたった2回（1回の順方向パスと1回の逆方向パス）で行うため、反復的手法に比べて著しく効率的である。
• INNの可逆性と分離された表現を活用することで、忠実で現実的かつ多様な対応例を生成する。

実験結果

リサーチクエスチョン

• RQ1 数千回のモデル評価ではなく、2回の評価で効率的に対応例を生成できるか？
• RQ2 逆可逆ニューラルネットワークが、閉形式での潜在表現補正を可能にし、現実的で最小限の対応例を生成できるか？
• RQ3 ECINNhから得られるヒートマップは、勾配ベースの手法に比べてINNにおいてより一貫性があり忠実な説明を提供するか？
• RQ4 なぜ勾長ベースの説明手法はINNでノイズが多いヒートマップを生成するのか？また、ECINNhはこの問題を緩和できるか？
• RQ5 ECINNは、顔の表情やメイクなどクラス依存特徴を効果的に変更しながら、背景や髪の色といったクラス非依存特徴を保持できるか？

主な発見

• ECINNは、反復的手法が数百～数千回のクエリを必要とするのに対し、わずか2回のモデル評価で対応例を生成する。
• この手法は、顔の表情、メイク、顔貌構造といったクラス依存特徴のみを効果的に変更し、背景、髪の色、全体の画像レイアウトを保持する。
• ECINNhは、Integrated Gradients、DeepLift、DeepLiftSHAP、GradSHAPに比べ、特にINNでは勾長手法がノイズが多くなる状況において、より一貫性があり意味のあるヒートマップを生成する。
• 本研究では、INNの層にReLU活性化関数が存在しないことが、ノイズの多い勾長説明を引き起こす要因であると仮説を立て、ECINNhは入力と対応例の構造的差分を用いることでこの問題を回避している。
• ECINNhは、モデルがメイクのラベルに学習する際に、孤立した特徴ではなく顔全体の文脈を捉えていること（例：口紅だけでなく全体のメイク）を明らかにする。
• ECINNhのヒートマップは人間の認識と強く一致しており、笑顔の場合は口や目を強調するなど、相関するラベル（口紅と濃いメイク）ではほぼ同一のパターンを示し、モデル行動の忠実な解釈を示している。