[論文レビュー] Removing input features via a generative model to explain their attributions to a classifier's decisions

Chirag Agarwal, Dan Schonfeld+1 more|arXiv (Cornell University)|Jan 1, 2019

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本稿では、ぼかしやノイズなどのヒューリスティックな除去手法に代わり、生成的インpainterを特徴量の付与手法に統合することで、入力特徴量を現実的に除去する手法を提案する。このアプローチにより、より現実的で妥当な反事実的サンプルが得られ、ハイパーパramータの変動に対してより頑健になり、ImageNetおよびPlaces365におけるオブジェクト局所化、削除、サリエンシー評価指標の精度が向上する。

ABSTRACT

Interpretability methods often measure the contribution of an input feature to an image classifier's decisions by heuristically removing it via e.g. blurring, adding noise, or graying out, which often produce unrealistic, out-of-samples. Instead, we propose to integrate a generative inpainter into three representative attribution methods to remove an input feature. Compared to the original counterparts, our methods (1) generate more plausible counterfactual samples under the true data generating process; (2) are more robust to hyperparameter changes; and (3) are more accurate according to three metrics: object localization, deletion and saliency metrics. Our findings were consistent across both ImageNet and Places365 datasets and two different pairs of classifiers and inpainters.

研究の動機と目的

• ぼかしやノイズなどのヒューリスティックな特徴量除去手法が、現実的でない、分布外のサンプルを生成するという限界を是正する。
• 真のデータ生成プロセスに従って特徴量の除去をモデル化することで、反事実的サンプルの忠実性を向上させる。
• ハイパーパramータの変動に対して、特徴量付与手法の頑健性を高める。
• オブジェクト局所化、削除、サリエンシー得点といった標準的な指標を用いて、特徴量付与の精度を向上させる。
• ImageNetおよびPlaces365といった多様なデータセットとモデルの組み合わせにおいて、一貫した性能向上を示す。

提案手法

• ヒューリスティックな特徴量除去を、周囲のコンテキストを用いてマスクされた入力領域を再構成する深層生成的インpainterに置き換える。
• 3つの代表的な特徴量付与手法（Grad-CAM、GradCAM++、Score-CAM）にインpainterを統合する。
• 特徴量が除去された際の前向き伝搬中にインpainterを適用し、現実的な反事実的入力を生成する。
• これらのインpaintされた入力に対するモデルの予測結果を用いて特徴量付与を計算し、データ多様体と整合性を保つ。
• 分類器と同一の分布でインpainterを学習させ、現実的な特徴量分布を維持する。
• エンターオンディフェラブルを維持することで、インpaintされた入力に対して勾配上での特徴量付与計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 生成的インpainterは、ヒューリスティックな除去手法に比べて、より現実的で妥当な反事実的サンプルを生成できるか？
• RQ2 特徴量の除去に生成的モデルを用いることで、ハイパーパramータの選択に対する特徴量付与手法の頑健性が向上するか？
• RQ3 提案手法は、標準的な評価指標において、どの程度特徴量付与の精度が向上するか？
• RQ4 本手法は、さまざまなデータセットと分類器-インpainterの組み合わせにおいて、どのように性能を発揮するか？
• RQ5 生成的インpaintingの使用により、画像分類意思決定における顕著領域のより忠実な局所化が達成されるか？

主な発見

• 提案手法は、ヒューリスティックな除去法に比べ、真のデータ分布により一致する現実的で整合性のある反事実的サンプルを生成する。
• 生成的インpainterを用いた特徴量付与手法は、すべてのテスト設定でハイパーパramータの変更に対してより頑健であることが示された。
• オブジェクト局所化、削除、サリエンシー指標において、ベースライン手法に比べて高い精度を達成した。
• ImageNetおよびPlaces365の両データセットで一貫した性能向上が得られた。
• 2種類の異なる分類器-インpainterペアにおいても強力な性能を維持しており、アーキテクチャに跨る一般化性が示された。
• 生成的インpaintingの統合により、モデルの再トレーニングを要せず、より信頼性が高く解釈可能な特徴量付与が可能になった。