[論文レビュー] Explainability Fact Sheets: A Framework for Systematic Assessment of Explainable Approaches

Kacper Sokol, Peter Flach|arXiv (Cornell University)|Dec 11, 2019

Explainable Artificial Intelligence (XAI)参考文献 51被引用数 14

ひとこと要約

本論文は、機能的、運用的、使いやすさ、安全性、検証の5つの次元で説明可能AI（XAI）手法を評価するための体系的フレームワーク「Explainability Fact Sheets」を紹介する。100通以上のXAI論文からの基準を統合することで、研究者と実務家が説明可能性アプローチを標準化された比較と批判的評価に用いることができる実用的テンプレートへと具体化された。これにより、XAI研究における透明性とメソドロジカルな厳密性が向上する。

ABSTRACT

Explanations in Machine Learning come in many forms, but a consensus regarding their desired properties is yet to emerge. In this paper we introduce a taxonomy and a set of descriptors that can be used to characterise and systematically assess explainable systems along five key dimensions: functional, operational, usability, safety and validation. In order to design a comprehensive and representative taxonomy and associated descriptors we surveyed the eXplainable Artificial Intelligence literature, extracting the criteria and desiderata that other authors have proposed or implicitly used in their research. The survey includes papers introducing new explainability algorithms to see what criteria are used to guide their development and how these algorithms are evaluated, as well as papers proposing such criteria from both computer science and social science perspectives. This novel framework allows to systematically compare and contrast explainability approaches, not just to better understand their capabilities but also to identify discrepancies between their theoretical qualities and properties of their implementations. We developed an operationalisation of the framework in the form of Explainability Fact Sheets, which enable researchers and practitioners alike to quickly grasp capabilities and limitations of a particular explainable method. When used as a Work Sheet, our taxonomy can guide the development of new explainability approaches by aiding in their critical evaluation along the five proposed dimensions.

研究の動機と目的

• 機械学習の説明に望ましい特性についての合意が不足している問題に対処するため、XAI文献から共通の基準を同定する。
• 評価の複数の次元をカバーする、説明可能性アプローチの記述子を包括的かつ体系的に分類するための分類法を構築する。
• 研究者と実務家が説明可能性手法を比較・評価・改善できる実用的で標準化されたツール「Explainability Fact Sheets」を構築する。
• 理論的望ましい特性と実際の実装との間のギャップを埋めるために、手法の特性における不一致を浮き彫りにする。

提案手法

• 本フレームワークは、コンピュータサイエンスおよび社会科学的視点からの100通以上のXAI関連論文を体系的に調査することで構築された。
• 説明可能性手法を包括的に特徴付けるために、機能的、運用的、使いやすさ、安全性、検証の5つのコア次元が定義された。
• 各次元内の記述子は、既存のXAI研究および評価実践で用いられる明示的・暗黙的基準から導出された。
• フレームワークは、「Explainability Fact Sheets」と呼ばれる構造化されたテンプレートへ具体化され、手法の評価と開発のためのワークシートとして設計された。
• この分類法は、既存手法の後向き的評価と、新しい説明可能性技術の設計段階での前向き的ガイダンスの両方を支援する。
• 特性と制限の記録および伝達方法を標準化することで、体系的な比較が可能となり、XAI研究報告における曖昧性が低減される。

実験結果

リサーチクエスチョン

• RQ1 広範なXAI文献において、説明可能性手法を評価するために用いられる主要な基準と望ましい特性は何か？
• RQ2 機能的、運用的、使いやすさ、安全性、検証の各次元において、説明可能性アプローチを体系的に評価する方法は何か？
• RQ3 理論的特性と実際の実装特性との間で、どの程度の整合性が見られるか？
• RQ4 標準化されたフレームワークは、XAI手法の透明性、比較可能性、批判的評価をどの程度向上させるか？
• RQ5 Explainability Fact Sheetsのような統一テンプレートは、説明可能AIにおける研究と開発を両立して支援できるか？

主な発見

• フレームワークは5つの次元にわたり15のコア記述子を同定し、説明可能性手法の評価に包括的なレンズを提供する。
• 既存の説明可能性システムにおいて、理論的設計目標と実際の実装特性との間に顕著なギャップが確認された。
• 調査により、忠実度（fidelity）、忠実性（faithfulness）、ユーザーの理解可能性といった繰り返し用いられる評価基準が明らかになり、今や分類法に正式に統合された。
• Explainability Fact Sheetsが、手法の文書化を効果的に構造化し、強みと限界の明確な伝達を可能にした。
• フレームワークは、既存手法の批判的評価と、構造化された自己評価を通じた新規手法のガイド付き開発の両方を支援する。
• 評価基準を標準化することで、異なる手法間の比較が可能となり、XAI研究報告における曖昧性が低減された。