[论文解读] A multi-component framework for the analysis and design of explainable artificial intelligence

Shahin Atakishiyev, Housam Khalifa Bashier Babiker+7 more|arXiv (Cornell University)|May 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 49被引用 8

一句话总结

本文提出了一种多组件可解释人工智能（XAI）框架，将解释质量划分为五个层级，从基础解释到交互式、面向被解释者的因果推理。该框架将解释、因果性和认知评估的历史概念整合到一个有原则的架构中，强调可度量、可评估和可复现的解释，以应对对可信AI系统日益增长的需求。

ABSTRACT

The rapid growth of research in explainable artificial intelligence (XAI) follows on two substantial developments. First, the enormous application success of modern machine learning methods, especially deep and reinforcement learning, which have created high expectations for industrial, commercial and social value. Second, the emergence of concern for creating trusted AI systems, including the creation of regulatory principles to ensure transparency and trust of AI systems.These two threads have created a kind of "perfect storm" of research activity, all eager to create and deliver it any set of tools and techniques to address the XAI demand. As some surveys of current XAI suggest, there is yet to appear a principled framework that respects the literature of explainability in the history of science, and which provides a basis for the development of a framework for transparent XAI. Here we intend to provide a strategic inventory of XAI requirements, demonstrate their connection to a history of XAI ideas, and synthesize those ideas into a simple framework to calibrate five successive levels of XAI.

研究动机与目标

• 为解决可解释人工智能（XAI）领域缺乏一个有原则的、基于历史根基的框架问题，该框架需统一解释、因果性等多样化概念。
• 解决XAI研究中因混淆或定义不清的术语（如可解释性、解释和因果性）而引发的困惑。
• 开发一个结构化、可扩展的框架，区分解释质量的层级，从基础表示到交互式、用户特定的因果推理。
• 将现代XAI技术与科学解释、溯因推理和认知评估的奠基性工作联系起来。
• 建立基于可度量、可评估和可复现标准的XAI系统评估基础，包括用户满意度、心智模型准确性及可纠正性。

提出的方法

• 提出一个五级解释质量框架（第0级至第4级），每一级对应解释组件在复杂性和用户中心性方面的逐步提升。
• 使用视觉量表（图1）和表格表示（表1），将解释组件——显式表示、替代解释、对被解释者的知识以及交互性——映射到五个层级。
• 整合科学哲学中解释的历史基础，包括溯因推理和因果建模，以将现代XAI建立在长期的科学传统之上。
• 将XAI的关键组件定义为可解释性、解释质量、评估、系统调试、表达能力、语义、推理、抽象和预测。
• 提出一组用于评估解释有效性的指标：用户满意度、心智模型强度、任务表现、信任评估和可纠正性。
• 倡导通过对比性解释评估，使用衡量对比（通过比较进行正当化）、选择（特征显著性）和社会解释（对用户的清晰度和实用性）的指标。

实验结果

研究问题

• RQ1 我们如何系统地组织XAI中解释质量的分级，实现明确且可扩展的层级？
• RQ2 现代XAI概念（如解释、因果性和可解释性）所基于的历史与科学基础是什么？
• RQ3 如何在预测准确度之外，结合认知和用户中心指标来评估XAI系统？
• RQ4 构建一个有原则、可扩展且可评估的XAI架构，需要哪些核心组件？
• RQ5 在实践中，如何衡量和验证对比性与社会相关解释？

主要发现

• 所提出的五级框架为基于解释复杂性逐步提升的XAI系统提供了一种结构化分类方式，从基础显式表示（第0级）到交互式、面向被解释者的因果解释（第4级）。
• 目前尚无XAI系统在第4级展现出完整能力，特别是在支持丰富、多维评估（包括对比、选择和社会解释指标）方面。
• 解释评估应包含五个维度：用户满意度、心智模型准确性、任务表现改进、信任评估和可纠正性，且所有维度均可度量和可评估。
• 通过衡量对比（通过比较进行正当化）、特征显著性（选择）和用户效用（社会解释）的指标，可对对比性解释的有效性进行量化。
• 该框架成功地将现代XAI与科学解释和因果性的奠基性工作联系起来，特别是溯因推理和因果建模。
• 尽管兴趣日益增长，当前XAI研究仍缺乏一个统一的、有原则的框架，该框架既尊重历史科学理解，又能实现解释评估的稳健性和可复现性。