[论文解读] Explainability Fact Sheets: A Framework for Systematic Assessment of Explainable Approaches

Kacper Sokol, Peter Flach|arXiv (Cornell University)|Dec 11, 2019

Explainable Artificial Intelligence (XAI)参考文献 51被引用 14

一句话总结

本文提出了可解释性说明表（Explainability Fact Sheets），一种系统性框架，用于从功能、操作、可用性、安全性和验证性五个维度评估可解释人工智能（XAI）方法。通过整合100多篇XAI论文中的标准，作者将该框架转化为一个实用模板，使可解释性方法的标准化比较与批判性评估成为可能，从而提升XAI研究的透明度与方法严谨性。

ABSTRACT

Explanations in Machine Learning come in many forms, but a consensus regarding their desired properties is yet to emerge. In this paper we introduce a taxonomy and a set of descriptors that can be used to characterise and systematically assess explainable systems along five key dimensions: functional, operational, usability, safety and validation. In order to design a comprehensive and representative taxonomy and associated descriptors we surveyed the eXplainable Artificial Intelligence literature, extracting the criteria and desiderata that other authors have proposed or implicitly used in their research. The survey includes papers introducing new explainability algorithms to see what criteria are used to guide their development and how these algorithms are evaluated, as well as papers proposing such criteria from both computer science and social science perspectives. This novel framework allows to systematically compare and contrast explainability approaches, not just to better understand their capabilities but also to identify discrepancies between their theoretical qualities and properties of their implementations. We developed an operationalisation of the framework in the form of Explainability Fact Sheets, which enable researchers and practitioners alike to quickly grasp capabilities and limitations of a particular explainable method. When used as a Work Sheet, our taxonomy can guide the development of new explainability approaches by aiding in their critical evaluation along the five proposed dimensions.

研究动机与目标

• 为解决机器学习解释所需属性缺乏共识的问题，通过识别XAI文献中的共通标准。
• 构建一个全面、系统化的可解释性方法描述符分类法，涵盖多个评估维度。
• 开发一个实用、标准化的工具——可解释性说明表，使研究人员和从业者能够比较、评估并改进可解释性方法。
• 通过揭示方法属性中的差异，弥合理论期望与实际实现之间的差距。

提出的方法

• 该框架基于对100多篇来自计算机科学与社会科学视角的XAI论文的系统性调研构建。
• 定义了五个核心维度——功能、操作、可用性、安全性和验证性，以整体化地描述可解释性方法。
• 各维度内的描述符源自现有XAI研究与评估实践中所使用的显性和隐性标准。
• 该框架被具体化为一种名为可解释性说明表的结构化模板，专为方法评估与开发设计为工作表。
• 该分类法既支持对现有方法的回顾性评估，也支持在新可解释性技术设计过程中的前瞻性指导。
• 该方法通过标准化可解释性系统属性与局限性的记录与沟通方式，实现系统性比较。

实验结果

研究问题

• RQ1 在广泛的XAI文献中，用于评估可解释性方法的关键标准与理想属性是什么？
• RQ2 如何系统性地从功能、操作、可用性、安全性和验证性维度评估可解释性方法？
• RQ3 可解释性方法的理论属性与其实际实现之间在多大程度上一致？
• RQ4 标准化框架在多大程度上能提升XAI方法的透明度、可比性与批判性评估？
• RQ5 像可解释性说明表这样的统一模板，能否同时支持可解释人工智能的研究与开发？

主要发现

• 该框架在五个维度中识别出15个核心描述符，为评估可解释性方法提供了全面的视角。
• 在现有可解释性系统中，发现理论设计目标与实际实现属性之间存在显著差距。
• 调查显示，一致性、忠实度与用户可理解性等重复出现的评估标准，现已正式整合进分类法中。
• 可解释性说明表被证明能有效组织方法文档，促进对优势与局限性的清晰表达。
• 该框架既支持对现有方法的批判性评估，也通过结构化自我评估支持新方法的引导性开发。
• 该方法通过标准化评估标准，实现跨方法比较，减少XAI研究报道中的模糊性。