[論文レビュー] SAFARI: Versatile and Efficient Evaluations for Robustness of Interpretability

Wei Huang, Xingyu Zhao+2 more|arXiv (Cornell University)|Aug 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、2つの新規指標である「最悪ケース解釈差違」および「確率的解釈耐性」を用いて、深層学習の解釈性の耐性をブラックボックス評価するためのフレームワークであるSAFARIを提案する。遺伝的アルゴリズム（GA）とサブセットシミュレーションを用い、希少な誤解釈を効率的に検出する。この手法は、多様なXAI手法およびデータセットにおいて、精度、感度、効率性の面で最先端の手法を上回る性能を示す。

ABSTRACT

Interpretability of Deep Learning (DL) is a barrier to trustworthy AI. Despite great efforts made by the Explainable AI (XAI) community, explanations lack robustness -- indistinguishable input perturbations may lead to different XAI results. Thus, it is vital to assess how robust DL interpretability is, given an XAI method. In this paper, we identify several challenges that the state-of-the-art is unable to cope with collectively: i) existing metrics are not comprehensive; ii) XAI techniques are highly heterogeneous; iii) misinterpretations are normally rare events. To tackle these challenges, we introduce two black-box evaluation methods, concerning the worst-case interpretation discrepancy and a probabilistic notion of how robust in general, respectively. Genetic Algorithm (GA) with bespoke fitness function is used to solve constrained optimisation for efficient worst-case evaluation. Subset Simulation (SS), dedicated to estimate rare event probabilities, is used for evaluating overall robustness. Experiments show that the accuracy, sensitivity, and efficiency of our methods outperform the state-of-the-arts. Finally, we demonstrate two applications of our methods: ranking robust XAI methods and selecting training schemes to improve both classification and interpretation robustness.

研究の動機と目的

• 深層学習における解釈性耐性の包括的で汎用的かつ効率的な評価指標の欠如に対処すること。
• 特に摂動ベース手法を含む多様なXAI手法を、モデル内部へのアクセスを必要とせずに評価する課題を克服すること。
• ブラックボックス最適化と統計的サンプリングを用いて、局所的なノルムボール内で一般的に見られる希少な誤解釈イベントを効果的に検出すること。
• 最悪ケースと確率的耐性の両視点を補完する包括的な評価フレームワークを提供すること。
• 実用的応用の提示：XAI手法のランク付けおよび分類と解釈耐性の両方を向上させる訓練手法の同定。

提案手法

• 2つの補完的耐性指標を提案：最悪ケース解釈差違（ピアソン積動標本相関係数PCCで測定）および確率的耐性（ノルムボール内での誤解釈の確率として推定）。
• 制約付き最適化を解くために、独自のフィットネス関数を備えたブラックボックス遺伝的アルゴリズム（GA）を用い、解釈差違を最大化する敵対的摂動を同定する。
• 希少事象の確率推定に適した統計的手法であるサブセットシミュレーション（SS）を用い、局所的近傍における誤解釈の可能性を効率的に計算する。
• 解釈変化を最大限に引き起こすが、モデル予測を保持する摂動を探索するため、GAに特化したフィットネス関数を設計する。
• 標準的なモンテカルロ法に比べ、条件付き分布からの繰り返しサンプリングにより、低確率の誤解釈事象の推定を効率化するようにSSを適応させる。
• MNIST、CIFAR-10、CelebA、ImageNetといった多様なデータセットおよび、Gradient×Input、Integrated Gradients、GradCAM、FullGrad、Extremal Perturbationsといった多様なXAI手法にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 二値の敵対的検出を超えて、深層学習の解釈性耐性を包括的に評価する方法は何か？
• RQ2 勾配やモデル内部情報を必要とせず、局所的なノルムボール内での希少な誤解釈イベントを効率的に検出できるブラックボックス手法は何か？
• RQ3 予測を保持する摂動と予測を変更する摂動の両方に対して、どのXAI手法が最も耐性があるか？
• RQ4 異なるニューラルネットワークアーキテクチャにおいて、分類耐性と解釈耐性の間にはどの程度相関があるか？
• RQ5 分類と解釈耐性の両方を同時に向上させる訓練手法を特定できるか？

主な発見

• Integrated Gradientsは、CIFAR-10における異なるアーキテクチャで一貫して高い耐性を示し、低く抑えた最悪ケース差違と高い確率的耐性を維持した。
• ResNet20におけるIntegrated Gradientsの確率的耐性指標（ln P）は-35.93、VGG16では-47.52であり、誤解釈に対する強い抵抗性を示している。
• 実験的に、分類耐性と解釈耐性の間には強い相関が観察された。これは、損失関数の曲率といった共通の要因が関与している可能性を示唆している。
• FullGradは層ごとの勾配を統合することで個別の手法を上回り、ImageNet上でのPCCは0.799、ln Pは-75.716を達成し、高い耐性を示した。
• GAを用いた最悪ケース評価は高い感度と効率性を達成し、最小限の計算コストで敵対的摂動を検出できた。
• サブセットシミュレーションは、計算コストの面で標準的なモンテカルロ法を上回り、希少な誤解釈確率を高精度に推定できた。