[論文レビュー] A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics

Naveed Akhtar|arXiv (Cornell University)|Jan 31, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、深層視覚モデルに特化した、説明可能AI（XAI）手法およびメトリクスの包括的かつ体系的なサーベイを初めて提示する。手法は後処理型と本質的に説明可能なアプローチに分類され、説明の質を評価するためのメトリクスを体系的にリスト化している。相関関係と因果関係の混同、手法のインスピレーションにおけるドメインの不一致、パフォーマンスと透明性のトレードオフといった主な課題を特定し、分野の前進を図るための標準的で厳密な評価フレームワークの構築を提唱する。

ABSTRACT

Deep visual models have widespread applications in high-stake domains. Hence, their black-box nature is currently attracting a large interest of the research community. We present the first survey in Explainable AI that focuses on the methods and metrics for interpreting deep visual models. Covering the landmark contributions along the state-of-the-art, we not only provide a taxonomic organization of the existing techniques, but also excavate a range of evaluation metrics and collate them as measures of different properties of model explanations. Along the insightful discussion on the current trends, we also discuss the challenges and future avenues for this research direction.

研究の動機と目的

• 既存の文献においてドメイン特化された統合的レビューが不足していることに対応し、深層視覚モデルに限定してXAI手法を分類するための体系的レビューを提供すること。
• 説明の質を測るための評価メトリクスを体系的に抽出・整理し、忠実度、忠実性、耐性などの異なる特性を測定すること。
• XAI文献における用語の不一致、特に「説明」と「解釈」の間の曖昧さを明確にし、視覚分野における一貫したフレームワークを確立すること。
• 視覚分野におけるXAIの重要な課題、すなわち相関関係と因果関係のギャップ、手法設計におけるドメインの不一致、パフォーマンスと透明性のジレンマを特定・分析すること。
• 新規の説明手法の開発から、評価メトリクスおよび基準データの厳密な設計と検証への研究の焦点の転換を提唱すること。

提案手法

• XAI手法を2つの主要な流れに分類する：後処理型（例：バックプロパゲーションや勾配ベースの方法によるサリエンシーマップ）と本質的に説明可能なモデル（例：解釈可能なモジュールや自己説明可能なアーキテクチャの使用）。
• 忠実度、忠実性、耐性、安定性などの測定特性に基づいて評価メトリクスを分類し、比較のための構造的フレームワークを提供する。
• 勾配ベースの手法（例：Grad-CAM）、摂動ベースの手法（例：LIME）、ゲーム理論的手法（例：シャープレイ値）を含む、後処理型および内在的説明可能性の代表的技法を分析する。
• 既存のメトリクスの限界を評価し、統計的信頼性の欠如と一貫性の欠如を指摘（例：Tomsett et al., 2020）、より厳密な検証の必要性を訴える。
• モデルに依存しない手法とモデルに依存する手法の問題を議論し、後処理型手法が基本的な健全性チェックに失敗する（例：Adebayo et al., 2018）ことが説明の信頼性を損なうことを強調する。
• 今後の研究は、信頼性の高い評価スキームおよび合成された基準データの開発を優先すべきであると提言する。

実験結果

リサーチクエスチョン

• RQ1 深層視覚モデルに用いられる既存のXAI手法は、技術的アプローチおよびその背後にある仮定に基づいて、どのように体系的に分類できるか？
• RQ2 視覚モデルの説明の質を評価するために用いられる主な評価メトリクスは何か？ そして、忠実度、忠実性、耐性といった異なる特性をどのように測定しているか？
• RQ3 なぜ現在の評価メトリクスは、説明手法間の信頼性のある比較を提供できないのか？ その背後にある根本的要因は何か？
• RQ4 現在のXAI技術はどの程度相関関係と因果関係を混同しているのか？ そして、因果的推論を説明手法に統合するにはどうすればよいか？
• RQ5 視覚分野におけるXAIの主な未解決課題（ドメインの不一致、パフォーマンスと透明性のトレードオフ、基準がないこと）は何か？ そして、それらはどのように解決できるか？

主な発見

• 視覚モデルにおけるXAIの文献は、主に後処理型手法に支配されており、個々の予測を説明するが、モデル全体の不透明性を軽減しないことから、将来的な有用性に懸念が生じる。
• 忠実度や忠実性といった評価メトリクスは広く用いられているが、統計的信頼性の欠如と一貫性の欠如のため、過去の実証的研究で示されている。
• 多くの説明手法は基本的な健全性チェックに失敗しており（例：入力特徴を削除してもサリエンシーマップが変化しない）、設計上の根本的欠陥を示している。
• XAI技術のインスピレーション源（例：ゲーム理論、経済学）と視覚ドメインとの間には顕著な不一致があり、特に画像特徴の「欠如」の定義において、パスベースの属性割り当てのような手法の妥当性を損なう。
• 規制当局が透明性を不可欠とみなしているにもかかわらず、現在の最先端モデルは性能を求めるあまり説明可能性を犠牲にしているため、両者をバランスさせる新しいアーキテクチャ的・訓練的パラダイムの必要性が示唆される。
• 説明手法の客観的で再現可能かつ信頼できるベンチマーク評価を可能にするために、評価フレームワークおよび合成された基準データに関する専用の研究が、今や急務である。