[論文レビュー] What You See is What You Classify: Black Box Attributions

Steven Stalder, Nathanaël Perraudin+3 more|arXiv (Cornell University)|May 23, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、事前に訓練済みで固定された「解釈対象（Explanandum）」分類器からの入力を用いて、分類器の各クラスに特化したシャープで境界に正確なアトリビューションマスクを生成するための新規手法を提案する。勾配ベースや摂動ベースの手法とは異なり、Explainerネットワークを訓練することで、1回の順伝播出力で正確なマスクを生成し、PASCAL VOC-2007およびCOCO-2014ベンチマークで視覚的・定量的に優れた性能を達成する。

ABSTRACT

An important step towards explaining deep image classifiers lies in the identification of image regions that contribute to individual class scores in the model's output. However, doing this accurately is a difficult task due to the black-box nature of such networks. Most existing approaches find such attributions either using activations and gradients or by repeatedly perturbing the input. We instead address this challenge by training a second deep network, the Explainer, to predict attributions for a pre-trained black-box classifier, the Explanandum. These attributions are provided in the form of masks that only show the classifier-relevant parts of an image, masking out the rest. Our approach produces sharper and more boundary-precise masks when compared to the saliency maps generated by other methods. Moreover, unlike most existing approaches, ours is capable of directly generating very distinct class-specific masks in a single forward pass. This makes the proposed method very efficient during inference. We show that our attributions are superior to established methods both visually and quantitatively with respect to the PASCAL VOC-2007 and Microsoft COCO-2014 datasets.

研究の動機と目的

• ブラックボックスな深層画像分類器を説明する課題に取り組み、特定のクラス予測に寄与する画像領域を同定すること。
• 従来の手法の限界、例えば勾配ベース手法によるぼやけたセグメンテーションマップや、摂動ベース手法による高い計算コストを克服すること。
• 1回の順伝播出力で、モデルに依存しない、効率的かつ正確なアトリビューション手法を構築し、クラス特化型のマスクを生成すること。
• 医療画像や規制遵守の高リスクな応用分野における説明可能性を向上させ、信頼性があり視覚的に解釈可能なアトリビューションを提供すること。

提案手法

• 事前に訓練済みで固定された「解釈対象（Explanandum）」分類器に対して、密なクラス特化型アトリビューションマスクを予測する専用の畳み込みニューラルネットワーク（「Explainer」）を訓練する。
• Explanandumの出力ログティトおよび特徴マップを、Explainerが各クラスの関連性の高い画像領域を学習するための監視信号として用いる。
• アトリビューションタスクを、Explanandumの反応に基づいて情報の保持と削除のバランスを学ぶ、教師ありメタラーニング問題として定式化する。
• 推論時において1回の順伝播出力でマスクを生成し、摂動ベース手法と比較して、桁違いに高速な推論を実現する。
• PASCAL VOC-2007およびCOCO-2014の正解セグメンテーションマップを監視信号として用い、IoU、MAE、およびセグメンテーションスコアを含む損失関数を適用する。
• Explainerが空間的に正確で、かつExplanandumの各クラスに対する信頼度と整合性のあるマスクを生成するよう、マルチタスク学習の目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習されたExplainerネットワークは、Grad-CAMなどの勾長ベース手法よりも、よりシャープで境界に正確なアトリビューションマスクを生成できるか？
• RQ2 提案手法は、PASCAL VOC-2007およびCOCO-2014といった標準ベンチマークで、従来のアトリビューション技術よりも優れた定量的性能を達成するか？
• RQ3 Explainerは繰り返しの摂動を伴わずに、1回の順伝播出力で、明確に分離されたクラス特化型マスクを効率的に生成できるか？
• RQ4 VGG-16やResNet-50のような異なるExplanandumアーキテクチャにおいて、Explainerの性能はどのように変化するか？
• RQ5 生成されたマスクは、分類器に必要な特徴を反映しているのか、それとも背景バイアスや低レベルのパターンに起因するのか、その程度はいかほどか？

主な発見

• 視覚的比較により、VOC-2007での実験で、提案手法はGrad-CAM や Extremal Perturbations (EP) よりもはるかにシャープで境界に正確なアトリビューションマスクを生成することが示された。
• PASCAL VOC-2007データセットでは、平均交差率（IoU）が0.68、セグメンテーションスコアが0.82を達成し、ベースライン手法を上回った。
• COCO-2014データセットでは、平均IoUが0.59、セグメンテーションスコアが0.75を達成し、データセット間での一般化性能が優れていることが示された。
• 計算効率が高く、1枚のテスト画像あたり1回の順伝播出力で十分であり、摂動ベース手法と比較して桁違いに高速である。
• VGG-16およびResNet-50の両アーキテクチャで一貫した性能を示したが、ResNet-50ではCOCO-2014でわずかに性能が低く、一部のアーキテクチャ依存の一般化の課題が示唆された。
• Explainerが生成するマスクは非常に簡潔であり、不要な特徴を排除している。入力にマスクを適用した場合、Explanandumの精度がわずかに低下するため、背景依存バイアスが除去されていることが示唆された。