[论文解读] Explainable Artificial Intelligence (XAI): An Engineering Perspective

Fatima Hussain, Rasheed Hussain+1 more|arXiv (Cornell University)|Jan 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 41被引用 40

一句话总结

本文主张以工程为中心的 XAI 视角，定义 explainability、interpretability 和 transparency，概述利益相关者需求，并给出一个自动驾驶用例以说明在何处以及如何应用 explainability。

ABSTRACT

The remarkable advancements in Deep Learning (DL) algorithms have fueled enthusiasm for using Artificial Intelligence (AI) technologies in almost every domain; however, the opaqueness of these algorithms put a question mark on their applications in safety-critical systems. In this regard, the `explainability' dimension is not only essential to both explain the inner workings of black-box algorithms, but it also adds accountability and transparency dimensions that are of prime importance for regulators, consumers, and service providers. eXplainable Artificial Intelligence (XAI) is the set of techniques and methods to convert the so-called black-box AI algorithms to white-box algorithms, where the results achieved by these algorithms and the variables, parameters, and steps taken by the algorithm to reach the obtained results, are transparent and explainable. To complement the existing literature on XAI, in this paper, we take an `engineering' approach to illustrate the concepts of XAI. We discuss the stakeholders in XAI and describe the mathematical contours of XAI from engineering perspective. Then we take the autonomous car as a use-case and discuss the applications of XAI for its different components such as object detection, perception, control, action decision, and so on. This work is an exploratory study to identify new avenues of research in the field of XAI.

研究动机与目标

• 定义 XAI 概念（explainability、interpretability、transparency）并说明它们在安全关键 AI 中的重要性。
• 识别利益相关者以及针对不同用户群体的 explainability 要求。
• 提供工程/数学视角的 XAI，并通过一个自动驾驶用例在感知、目标检测与控制等方面进行说明。

提出的方法

• 将 XAI 系统分类为透明（可解释的）模型和事后解释方法。
• 描述模型的算法透明度、可分解性和可模拟性等层级。
• 讨论面向利益相关者的 explainability 要求及基于角色的 explainability 需求。
• 给出自动驾驶中 XAI 的数学框架，包括对象检测和运动预测路径。
• 回顾现有的 XAI 技术以及它们如何应用于工程视角。

实验结果

研究问题

• RQ1 XAI 的利益相关者是谁，他们的 explainability 要求是什么？
• RQ2 从工程与数学视角如何为像自动驾驶这类安全关键系统对 XAI 进行框架化？
• RQ3 自动驾驶车辆的哪些组件最能从 XAI 受益，哪些技术是适合的？
• RQ4 在关键领域，当前 XAI 实践与工程需求之间存在哪些差距？

主要发现

• XAI 由 explainability、interpretability 和 transparency 组成，其中 transparency 将这些作为主导方面进行涵盖。
• 透明模型（例如线性模型、决策树、贝叶斯网络）在算法透明度、可分解性和可模拟性方面提供不同程度。
• 事后解释方法和模型诱导可用于从黑盒模型中推导解释，需关注局部与全局保真度。
• 一个自动驾驶用例演示 XAI 考虑事项如何跨越感知、目标检测、定位、运动预测与路径/决策。
• 从数学角度通过一个由相互作用的智能体和微分方程组成的系统来建模自动驾驶中的行为与对特定组件的解释。