[论文解读] Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

Arun Das, Paul Rad|arXiv (Cornell University)|Jun 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 122被引用 492

一句话总结

这篇论文综述深度学习领域的可解释人工智能（explainable AI，XAI）景观，提供分类方法、奠基工作的数学摘要、评估见解，以及自2007 年至 2020 年的关键发展时间表，包括对八种 XAI 算法在图像数据上的实证评估。

ABSTRACT

Nowadays, deep neural networks are widely used in mission critical systems such as healthcare, self-driving vehicles, and military which have direct impact on human lives. However, the black-box nature of deep neural networks challenges its use in mission critical applications, raising ethical and judicial concerns inducing lack of trust. Explainable Artificial Intelligence (XAI) is a field of Artificial Intelligence (AI) that promotes a set of tools, techniques, and algorithms that can generate high-quality interpretable, intuitive, human-understandable explanations of AI decisions. In addition to providing a holistic view of the current XAI landscape in deep learning, this paper provides mathematical summaries of seminal work. We start by proposing a taxonomy and categorizing the XAI techniques based on their scope of explanations, methodology behind the algorithms, and explanation level or usage which helps build trustworthy, interpretable, and self-explanatory deep learning models. We then describe the main principles used in XAI research and present the historical timeline for landmark studies in XAI from 2007 to 2020. After explaining each category of algorithms and approaches in detail, we then evaluate the explanation maps generated by eight XAI algorithms on image data, discuss the limitations of this approach, and provide potential future directions to improve XAI evaluation.

研究动机与目标

• 提出按范围、方法学和使用场景对 XAI 进行分类法，以澄清可解释性景观。
• 总结并分类 XAI 中的核心数学模型与算法。
• 评估来自八种 XAI 算法的解释图在图像数据上的表现，以评估局限性并指导未来工作。
• 讨论评估策略、局限性和未来方向，以提升对 DNN 解释的信任、透明度和公平性。
• 提供开源软件参考及从 2007 到 2020 年的里程碑 XAI 研究时间线。

提出的方法

• 将 XAI 技术分类为局部/全局作用域，以及基于反向传播、基于扰动或本征方法。
• 按使用场景将方法分为模型内在或后处理，以及模型无关的适用性。
• 提供对奠基性 XAI 算法的数学概述及标准记号。
• 呈现并分析 XAI 解释的评估方法，并讨论局限性。
• 使用对图像数据的解释图比较八种 XAI 算法，以说明其实践行为。
• 提供里程碑 XAI 论文的时间线以及对开源软件实现的综述。

实验结果

研究问题

• RQ1 在范围、方法学和使用方面，深度学习中的可解释 AI 的主要分类法有哪些？
• RQ2 如何在所提的分类法中对奠基性 XAI 算法进行数学概述和分类？
• RQ3 在跨模态的 XAI 解释评估方法的优点和局限性有哪些？
• RQ4 在为图像数据生成解释图时，八种代表性 XAI 算法的表现如何，以及它们提出了哪些未来方向？
• RQ5 哪些开源工具支持 XAI 方法，它们如何与所审阅的分类法保持一致？

主要发现

• 作者提出了三种定义明确的分类法，以按范围、方法学和使用对 XAI 方法进行组织。
• 他们提供奠基性 XAI 方法的数学摘要以及自 2007 年至 2020 年的历史时间线。
• 他们在图像数据上评估八种 XAI 算法，以说明解释生成并讨论评估的局限性。
• 该综述讨论了提高对 AI 系统的信任、透明度和公平性之解释的理想属性。
• 论文强调了流行的开源软件实现的可用性，并强调以模型无关的后处理解释为实际关注点。
• 提供了 XAI 研究的里程碑时间线，以将该领域的快速发展置于背景。