[論文レビュー] Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation

Sam Sattarzadeh, Mahesh Sudhakar+8 more|arXiv (Cornell University)|Oct 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 14

ひとこと要約

本稿では、複数の中間畳み込みブロックからの属性ベース入力サンプリングマップを統合することで、CNNの視覚的説明可能性を向上させる新規XAI手法SISEを提案する。高解像度でクラスに特化した説明マップを達成する。層ごとの特徴属性をブロック単位の選択戦略と洗練された統合メカニズムで組み合わせることで、自然画像および産業用途のデータセットにおいて、視覚的品質と説明の完全性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

As an emerging field in Machine Learning, Explainable AI (XAI) has been offering remarkable performance in interpreting the decisions made by Convolutional Neural Networks (CNNs). To achieve visual explanations for CNNs, methods based on class activation mapping and randomized input sampling have gained great popularity. However, the attribution methods based on these techniques provide lower resolution and blurry explanation maps that limit their explanation power. To circumvent this issue, visualization based on various layers is sought. In this work, we collect visualization maps from multiple layers of the model based on an attribution-based input sampling technique and aggregate them to reach a fine-grained and complete explanation. We also propose a layer selection strategy that applies to the whole family of CNN-based models, based on which our extraction framework is applied to visualize the last layers of each convolutional block of the model. Moreover, we perform an empirical analysis of the efficacy of derived lower-level information to enhance the represented attributions. Comprehensive experiments conducted on shallow and deep models trained on natural and industrial datasets, using both ground-truth and model-truth based evaluation metrics validate our proposed algorithm by meeting or outperforming the state-of-the-art methods in terms of explanation ability and visual quality, demonstrating that our method shows stability regardless of the size of objects or instances to be explained.

研究の動機と目的

• 既存のCNN用XAI手法における低解像度の空間分解能と不完全な属性付与の問題を解決すること。
• 最終畳み込み層に依存せず、複数の中間層からの特徴を活用することで、説明品質を向上させること。
• すべての順方向CNNアーキテクチャに適用可能な汎用的なレイヤー選択戦略を開発すること。
• 属性ベース入力サンプリングと特徴統合を通じて、説明マップの視覚的明確さと完全性を向上させること。
• 多様なデータセットおよびモデルを用いて、グランドトゥルースベースおよびモデルトゥルースベースの評価指標を用いて本手法を検証すること。

提案手法

• 勾配感受性に基づいて顕著な入力領域を同定する属性ベース入力サンプリング技術を用いて、中間畳み込みブロックから視覚化マップを抽出する。
• 任意の順方向CNNにおいて、最も情報量の多い中間ブロックを特定するためのレイヤー選択戦略を提案し、包括的な特徴カバレッジを確保する。
• 選択されたレイヤーからの特徴マップを勾配ベースの属性マッピング機構で処理し、ピクセル単位の重要度スコアを計算する。
• 学習されたまたは重み付けられた線形結合を用いて、これらのレイヤー固有の属性マップを統合し、洗練された高解像度の説明マップを生成する。
• 各入力サンプルに対して上位15%の影響力を持つピクセルを選択するためのしきい値関数を適用し、その結果を用いてパーカージョンベースの指標を評価に用いる。
• 空間的精度とクラスの識別性を向上させるために、スコア・キャンプに類似した変更版のアグリゲーション戦略を採用し、意味的レベルにわたる関連特徴に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー特徴統合は、CNNにおける説明マップの空間的分解能と完全性を向上させ得るか？
• RQ2 多様なCNNアーキテクチャにわたり、意味のある中間表現を抽出可能な汎用的なレイヤー選択戦略をどのように設計できるか？
• RQ3 属性ベース入力サンプリングは、ランダムなパーカージョン手法に比べ、説明品質と計算効率の両面で優れているか？
• RQ4 低レベル特徴は最終的な説明にどの程度寄与しているのか？ また、それらを高レベル特徴と効果的に統合するにはどうすればよいか？
• RQ5 提案手法は、自然画像および産業用異常検出データセットの両方で優れた性能を達成できるか？

主な発見

• モデルトゥルース指標を用いた評価で、ResNet-101ではDrop%が61.06、Increase%が15.64を達成し、Grad-CAM（67.44/12.46）、Grad-CAM++（64.10/12.96）、RISE（63.25/15.63）、Score-CAM（64.29/10.35）を上回る性能を示した。
• ResNet-50を用いたTesla T4 GPU上での実行時間は9.21秒であり、RISE（26.08秒）やExtremal Perturbation（78.37秒）に比べて顕著に高速でありながら、高品質な説明を維持している。
• アブレーションスタディの結果、属性マスク数を1900から200（μ = 0.3に設定）に削減しても境界の劣化はわずかに抑えられ、実行時間は2.18秒に短縮された。
• さらにμを0.5に引き上げると、実行時間は0.65秒にまで短縮され、性能低下もわずかに抑えられ、低勾配特徴マップは最小限の寄与しかせず、安全に無視可能であることが示された。
• 定性的な結果から、SISEはCAMベースおよびパーカージョンベースの手法に比べ、特に物体の境界を明確に区別できる、より鋭く局所化された説明マップを生成することが明らかになった。
• 本手法は、物体サイズやインスタンスタイプにかかわらず一貫した性能を示しており、入力スケールに依存しない堅牢性と安定性を有していることが示された。