[論文レビュー] Efficient Saliency Maps for Explainable AI

T. Nathan Mundhenk, Barry Y. Chen+1 more|arXiv (Cornell University)|Nov 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 47

ひとこと要約

単一のフォワードパスで5つのネットワークスケールから計算される SMOE Scale のサリエンシーマップを導入し、勾配ベースの手法に匹敵する効率的で精度の高い XAI マップを提供。スケール認識の解釈のためのオプションとして Layer Ordered Visualization (LOVI) を用意。

ABSTRACT

We describe an explainable AI saliency map method for use with deep convolutional neural networks (CNN) that is much more efficient than popular fine-resolution gradient methods. It is also quantitatively similar or better in accuracy. Our technique works by measuring information at the end of each network scale which is then combined into a single saliency map. We describe how saliency measures can be made more efficient by exploiting Saliency Map Order Equivalence. We visualize individual scale/layer contributions by using a Layer Ordered Visualization of Information. This provides an interesting comparison of scale information contributions within the network not provided by other saliency map methods. Using our method instead of Guided Backprop, coarse-resolution class activation methods such as Grad-CAM and Grad-CAM++ seem to yield demonstrably superior results without sacrificing speed. This will make fine-resolution saliency methods feasible on resource limited platforms such as robots, cell phones, low-cost industrial devices, astronomy and satellite imagery.

研究の動機と目的

• リアルタイムまたは組み込み用途に適した、効率的で細粒度のサリエンシーマップの必要性を動機づける。
• 通常のフォワードパスの間にエンド・オブ・スケール活性を解析して動作するサリエンシ推定フレームワークを開発する。
• 統計的に根拠づけられ、計算量の少ないサリエンシ統計量（SMOE Scale）を提案し、その堅牢性を示す。
• 複数スケールのサリエンシーマップを単一の視覚化に統合する方法を導入し、層の寄与をHSVエンコードで表現するLOVI。
• ROAR/KAR 指標を用いて最先端のサリエンシ手法と比較し、効率性を比較評価する。

提案手法

• CNNの各空間スケールの終端でサリエンシーマップを計算する（例：ResNet-50 の5スケール）。
• 簡略化されたGammaスケールパラメータ推定から導出され、チャネル活性化全体で平均活性化と対数情報項を掛け合わせた式として表される高速なサリエンシ統計量（SMOE Scale）を定義する（Eq. 2）。
• Saliency Map Order Equivalence (SMOE) を仮定して全反復推定を回避し、顕著なピクセルのランキングを保持する。
• 各スケールのサリエンシーマップを、各マップごとに正規分布のCDFを用いた0-1変換で正規化し、入力サイズにアップサンプリングして加重平均で結合する（Eq. 3）。
• 情報のLayer Ordered Visualization (LOVI) を提供し、各位置のスケール寄与を HSV 色空間でエンコードする（Hue = 層の重心、Saturation = 希薄性/一意性、Value = 最大活性化）。
• 任意で SMOE Scale を Grad-CAM++ と融合し、より強力な結合サリエンシ信号を作成する。

実験結果

リサーチクエスチョン

• RQ1 単一のフォワードパス由来の多スケールサリエンシ法は、勾配ベースのサリエンシ手法（例：Guided Backprop、Grad-CAM）と同等またはそれを上回る精度を、計算量を劇的に削減して達成できるだろうか？
• RQ2 SMOE Scaleを用いたスケールごとのサリエンシマップの結合と単純な正規化は、多様なアーキテクチャとデータセットに対して堅牢で解釈可能な視覚化をもたらすか。
• RQ3 マルチスケール視覚化（LOVI）は、情報がネットワークのステージ間でどのように分布しているかについて実用的な洞察を提供するか。
• RQ4 ROARおよびKAR指標は、標準ベンチマーク上で提案手法のサリエンシマップの品質を既存手法と比較してどう評価するか。
• RQ5 SMOE ScaleとGrad-CAM++の融合が、サリエンシの精度と速度に定量的および定性的にどのような影響を与えるか。

主な発見

• SMOE Scale は強力な KAR/ROAR パフォーマンスを達成し、複数のデータセットでいくつかの高速な勾配ベース手法を上回る。
• 手法は大幅な速さの利点をもたらし、フォワードパス中にわずか五つのレイヤーのみを処理し、オーバーヘッドはほとんどない。
• LOVI はスケール単位の寄与の解釈性を可能にし、初期段階と後期段階がサリエンシにどのように寄与するかを強調する。
• SMOE ScaleとGrad-CAM++の結合は、全体的なサリエンシ精度を改善しつつ、フルグラデーション手法に比べて推論速度を維持する。
• フルバックプロパゲーションベースのサリエンシ手法と比較して、SMOE Scale は効率性が同等かそれより上で、評価タスク全般で競争力のある精度を示す。