[論文レビュー] Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

Arun Das, Paul Rad|arXiv (Cornell University)|Jun 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 122被引用数 492

ひとこと要約

本論文は深層学習の説明可能 AI（XAI）分野を概観し、分類体系、重要な研究の数学的要約、評価の洞察、および2007年から2020年までの主要な発展のタイムラインを提供し、画像データ上での八つの XAI アルゴリズムの経験的評価を含む。

ABSTRACT

Nowadays, deep neural networks are widely used in mission critical systems such as healthcare, self-driving vehicles, and military which have direct impact on human lives. However, the black-box nature of deep neural networks challenges its use in mission critical applications, raising ethical and judicial concerns inducing lack of trust. Explainable Artificial Intelligence (XAI) is a field of Artificial Intelligence (AI) that promotes a set of tools, techniques, and algorithms that can generate high-quality interpretable, intuitive, human-understandable explanations of AI decisions. In addition to providing a holistic view of the current XAI landscape in deep learning, this paper provides mathematical summaries of seminal work. We start by proposing a taxonomy and categorizing the XAI techniques based on their scope of explanations, methodology behind the algorithms, and explanation level or usage which helps build trustworthy, interpretable, and self-explanatory deep learning models. We then describe the main principles used in XAI research and present the historical timeline for landmark studies in XAI from 2007 to 2020. After explaining each category of algorithms and approaches in detail, we then evaluate the explanation maps generated by eight XAI algorithms on image data, discuss the limitations of this approach, and provide potential future directions to improve XAI evaluation.

研究の動機と目的

• 説明可能性の全体像を明確化するため、範囲、方法論、使用方法によるXAIの分類体系を提案する。
• XAIにおける主要な数学的モデルとアルゴリズムを要約・分類する。
• 画像データに対する八つのXAIアルゴリズムの説明マップを評価して制約を把握し、今後の課題を導く。
• DNNの説明における信頼性、透明性、公平性を高めるための評価戦略、限界、および今後の方向性を議論する。
• 2007年から2020年までの画期的なXAI研究のタイムラインとオープンソースソフトウェアの参照を提供する。

提案手法

• XAI技術を局所/全体のスコープ、およびbackpropagationベース、摂動ベース、または内在的手法に分類する。
• 使用法に応じて、モデル内在型または後処理型、およびモデル非依存性の適用性で分類する。
• 重要なXAIアルゴリズムの数学的概観と標準記法を提供する。
• XAI説明の評価手法を提示・分析し、限界を議論する。
• 画像データ上の説明マップを用いて八つのXAIアルゴリズムを比較し、実用的挙動を例示する。
• 画期的なXAI論文のタイムラインとオープンソースソフトウェア実装の調査を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習における説明可能AIの主要な分類体系は、範囲、方法論、使用の観点でどのようなものか。
• RQ2 提案された分類体系の中で、重要なXAIアルゴリズムを数学的に要約・分類するにはどうすればよいか。
• RQ3 モダリティを跨ぐXAI説明の現在の評価手法の強みと限界は何か。
• RQ4 8つの代表的なXAIアルゴリズムが画像データの説明マップを生成する際の性能はどうか、そして彼らはどんな将来の方向性を示唆しているか。
• RQ5 XAI手法をサポートするオープンソースツールは何か、そしてそれらは調査された分類体系とどのように整合しているか。

主な発見

• 著者らは、範囲、方法論、使用法によってXAIアプローチを整理する3つの明確に定義された分類体系を提案している。
• 重要なXAI手法の数学的要約と2007年から2020年までの歴史的タイムラインを提供している。
• 画像データ上で八つのXAIアルゴリズムを評価し、説明生成を示し、評価の限界について議論している。
• 調査はAIシステムの信頼性、透明性、公平性を向上させるための説明の望ましい特性を議論している。
• 本論文は一般的なオープンソースソフトウェア実装の入手可能性を強調し、実務的な焦点としてモデル非依存の後処理説明を強調している。
• 分野の急速な発展を位置づけるための画期的なXAI研究のタイムラインが提供されている。