[论文解读] Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models

Wojciech Samek, Thomas Wiegand+1 more|arXiv (Cornell University)|Aug 28, 2017

Explainable Artificial Intelligence (XAI)参考文献 31被引用 1,015

一句话总结

本文回顾了可解释性人工智能的需求，并提出两种预测解释方法——敏感性分析（SA）和逐层相关传播（LRP）——并在图像、文本和视频任务上进行评估。作者认为 LRP 提供比 SA 更具信息性且基于保守性的解释，并讨论评估方法和未来方向。

ABSTRACT

With the availability of large databases and recent improvements in deep learning methodology, the performance of AI systems is reaching or even exceeding the human level on an increasing number of complex tasks. Impressive examples of this development can be found in domains such as image classification, sentiment analysis, speech understanding or strategic game playing. However, because of their nested non-linear structure, these highly successful machine learning and artificial intelligence models are usually applied in a black box manner, i.e., no information is provided about what exactly makes them arrive at their predictions. Since this lack of transparency can be a major drawback, e.g., in medical applications, the development of methods for visualizing, explaining and interpreting deep learning models has recently attracted increasing attention. This paper summarizes recent developments in this field and makes a plea for more interpretability in artificial intelligence. Furthermore, it presents two approaches to explaining predictions of deep learning models, one method which computes the sensitivity of the prediction with respect to changes in the input and one approach which meaningfully decomposes the decision in terms of the input variables. These methods are evaluated on three classification tasks.

研究动机与目标

• 在安全关键和具有法律相关性的领域，推动可解释性 AI 的需求。
• 展示两种用于深度学习模型的预测解释方法（SA 和 LRP）。
• 演示如何客观评估解释质量。
• 展示在图像、文本和视频任务上对 SA 和 LRP 的实证比较。

提出的方法

• 描述通用的解释工作流，其中解释方法生成热力图，突出输入对某一预测的重要性。
• 介绍敏感性分析（SA）作为局部梯度基于的重要性度量。
• 介绍逐层相关传播（LRP）作为对输入变量分解的保守相关性分解。
• 解释 LRP 的重新分配规则，包括简单规则和具有相关性守恒性的 alpha-beta 规则。
• 提及可用于实际实现的 LRP 工具箱。
• 讨论 LRP 与深度泰勒分解和 ReLU 网络的关联。

实验结果

研究问题

• RQ1 如何用输入变量来解释深度学习模型的预测？
• RQ2 SA 与 LRP 是否会对深度模型产生在定性和定量方面不同的解释？
• RQ3 基于客观扰动的评估是否能揭示哪种解释方法更可信？
• RQ4 不同数据模态（图像、文本、视频）下的解释方法表现如何？

主要发现

• 在图像分类中，LRP 热力图往往比 SA 热力图噪声更低、且更符合直观人类理解。
• LRP 能区分文本分类中的正向与负向证据，而 SA 无法做到。
• 基于扰动的评估表明，当对大多数相关特征进行扰动时，基于 LRP 的解释会导致预测分数更快下降，表明其解释质量优于 SA。
• 在视频动作识别中，LRP 标出与动作相关的实际运动的帧和区域。
• 本文认为可解释性对于验证、改进、从模型中学习以及遵守监管至关重要。