[論文レビュー] Quantifying Explainability of Saliency Methods in Deep Neural Networks

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|Sep 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 41被引用数 9

ひとこと要約

本論文は、深層ニューラルネットワークにおけるサリエンシー手法の定量的評価を可能にする、アノテーション付きヒートマップを備えた合成データセットを導入する。細胞の識別可能な特徴を持つ画像を生成することで、後処理説明手法の透明なベンチマーク評価を可能にし、手法論的欠陥を明らかにするとともに、XAI分野における改善された評価基準と今後の研究方針についての提言を行う。

ABSTRACT

One way to achieve eXplainable artificial intelligence (XAI) is through the use of post-hoc analysis methods. In particular, methods that generate heatmaps have been used to explain black-box models, such as deep neural network. In some cases, heatmaps are appealing due to the intuitive and visual ways to understand them. However, quantitative analysis that demonstrates the actual potential of heatmaps have been lacking, and comparison between different methods are not standardized as well. In this paper, we introduce a synthetic data that can be generated adhoc along with the ground-truth heatmaps for better quantitative assessment. Each sample data is an image of a cell with easily distinguishable features, facilitating a more transparent assessment of different XAI methods. Comparison and recommendations are made, shortcomings are clarified along with suggestions for future research directions to handle the finer details of select post-hoc analysis methods.

研究の動機と目的

• 深層ニューラルネットワークにおけるサリエンシー手法の標準化された定量的評価の欠如に対処すること。
• 識別可能な特徴を有する画像と対応するアノテーション付きヒートマップを生成する合成データ生成フレームワークの開発。
• 制御された透明なベンチマークを用いて、後処理説明手法の透明かつ再現可能な比較を可能にすること。
• 提案されたデータセット上で体系的な評価を通じて、既存のサリエンシー手法の限界を同定すること。
• XAI評価実務における手法論的欠陥を明らかにし、改善を提言することで、今後の研究を導くこと。

提案手法

• サリエンシー手法のテストケースとして、明確に識別可能な構造的特徴を持つ細胞に類似した画像から成る合成データセットを設計する。
• 識別可能な特徴に基づき、各合成画像に対してアノテーション付きヒートマップを生成し、モデルが生成するサリエンシー マップと直接比較可能にする。
• 同じ合成画像にさまざまな後処理サリエンシー手法（例：Grad-CAM、GradCAM++、LRP）を適用し、説明用ヒートマップを生成する。
• 交差領域（IoU）や相関に基づく指標を用いて、モデルが生成するヒートマップとアノテーション付きヒートマップの類似度を定量的に評価する。
• 特徴の複雑さや空間的配置の変化に応じて、手法のパフォーマンスを体系的に評価する。
• 再現可能で透明かつ定量的なサリエンシー手法の評価を支援するベンチマークフレームワークを確立する。

実験結果

リサーチクエスチョン

• RQ1 既存のサリエンシー手法は、アノテーション付きヒートマップが既知の合成画像において、真の関連特徴をどれほど正確に局在化できるか。
• RQ2 制御された透明なデータ上で、人気のサリエンシー手法の間で定量的にどの程度のパフォーマンス差が生じるか。
• RQ3 異なる合成データ構成において一貫して露呈する方法論的欠陥は何か。
• RQ4 特徴の複雑さや空間的配置の変化が、サリエンシー説明の信頼性にどのように影響するか。
• RQ5 サリエンシー手法の真の説明能力をよりよく反映するためには、評価プロトコルにどのような改善が必要か。

主な発見

• サリエンシー手法の局在化精度には顕著なばらつきが見られ、一部の手法は単純な合成画像ですら関連特徴を正しく特定できない場合がある。
• どの構成においても一貫して優れたパフォーマンスを示す手法は存在せず、手法の選択はデータ構造に強く依存することが示された。
• IoU や相関に基づく一般的な指標は、説明の質を完全に捉えていないことが示され、より洗練された評価基準の必要性が浮き彫りになった。
• 多くの手法が、重複しているか曖昧な特徴がある領域で誤ったまたは一貫性のないヒートマップを生成する傾向がある。
• 合成データセットは、手法論的欠陥を効果的に露呈し、高性能と低性能のサリエンシー技術の明確な区別を可能にした。
• 本研究は、現在の評価慣行に標準化と透明性の欠如があることを明らかにし、アノテーション付き説明を備えたベンチマークデータセットの導入が不可欠であると示唆した。