[論文レビュー] Explaining Explanations: An Approach to Evaluating Interpretability of Machine Learning

Leilani H. Gilpin, David Bau+4 more|arXiv (Cornell University)|May 31, 2018

Explainable Artificial Intelligence (XAI)参考文献 53被引用数 120

ひとこと要約

本稿は、機械学習における解釈可能性の評価のための標準化されたフレームワークを提唱し、説明可能性を定義し、既存のXAI手法を分類する。深層ニューラルネットワークに対して特に顕著な現在の手法の欠陥を特定し、透明性、公平性、説明の体系的評価を向上させるための今後の研究方向性を提示する。

ABSTRACT

There has recently been a surge of work in explanatory artificial intelligence (XAI). This research area tackles the important problem that complex machines and algorithms often cannot provide insights into their behavior and thought processes. XAI allows users and parts of the internal system to be more transparent, providing explanations of their decisions in some level of detail. These explanations are important to ensure algorithmic fairness, identify potential bias/problems in the training data, and to ensure that the algorithms perform as expected. However, explanations produced by these systems is neither standardized nor systematically assessed. In an effort to create best practices and identify open challenges, we provide our definition of explainability and show how it can be used to classify existing literature. We discuss why current approaches to explanatory methods especially for deep neural networks are insufficient. Finally, based on our survey, we conclude with suggested future research directions for explanatory artificial intelligence.

研究の動機と目的

• XAI研究分野を統一するための、明確で一貫性のある説明可能性の定義を確立すること。
• 特に深層ニューラルネットワークを対象として、機械学習における既存の説明手法を分類・分析すること。
• 体系的な評価を阻害する現在のXAIアプローチにおける重大な制限を特定すること。
• 解釈可能性と評価基準のギャップを埋めるための今後の研究方向性を提起すること。

提案手法

• システムが理解しやすく、文脈的に関連する説明を提供できる能力として、説明可能性の形式的定義を提唱する。
• その根拠となるメカニズムと評価基準に基づいて、既存のXAI手法を分類する。
• 特に深層学習における説明生成の現在のアプローチを分析し、一貫性の欠如と標準化の不足を浮き彫りにする。
• 評価ベンチマークの欠如、一貫性のないメトリクス、ユーザ中心設計の不足といった主な課題を特定する。
• 透明性、忠実性、ユーザの理解度に基づく、説明の体系的評価のためのフレームワークを提唱する。
• 標準化、評価プロトコル、説明設計における人間要因の統合を焦点とした、今後の研究方向性を提示する。

実験結果

リサーチクエスチョン

• RQ1 説明可能性を形式的に定義することで、XAI手法間での一貫性のある評価を可能にする方法は何か？
• RQ2 なぜ現在の深層ニューラルネットワーク向け説明手法は、信頼性ある体系的評価に不十分なのか？
• RQ3 機械学習の説明の評価と標準化における主なギャップは何か？
• RQ4 どのようにすれば、エンドユーザーにとってより透明で、忠実で、有用な説明が可能になるか？
• RQ5 XAIシステムの信頼性と影響力を向上させるために、どのような今後の研究方向性が必要か？

主な発見

• 本稿は、標準化された定義と評価基準の欠如が、XAI分野における進展の主要な障壁であると特定した。
• 特に深層ニューラルネットワーク向けの現在のXAI手法は、一貫性、再現性、ユーザ中心の検証に欠けることが頻繁に見られる。
• 異なるモデルや分野において説明の質を評価するための統一されたベンチマークやメトリクスが存在しない。
• 研究では、説明がしばしばユーザの理解や意思決定への影響ではなく、内部モデルの特性に基づいて評価されていることが明らかになった。
• 著者らは、今後の研究において体系的な評価フレームワークと人間を含めた検証（human-in-the-loop validation）を優先すべきだと結論づけた。
• 用語の標準化、評価プロトコルの整備、ユーザフィードバックの統合は、信頼性があり解釈可能なAIを発展させるために不可欠である。