[论文解读] Towards a Characterization of Explainable Systems

Dimitri Bohlender, Maximilian A. Köhl|arXiv (Cornell University)|Jan 31, 2019

Explainable Artificial Intelligence (XAI)参考文献 1被引用 13

一句话总结

本文通过将可解释性定义为与上下文相关的、基于解释、目标群体和表征形式之间相互作用的概念框架，提出了可解释系统的一种概念性框架。它引入了一套统一的术语，用于对可解释性方法进行分类、比较和评估，强调可解释性并非绝对，而是相对于特定方面、受众和表征形式而言，从而在软件和信息物理系统中实现精确的需求定义与设计原则。

ABSTRACT

Building software-driven systems that are easily understood becomes a challenge, with their ever-increasing complexity and autonomy. Accordingly, recent research efforts strive to aid in designing explainable systems. Nevertheless, a common notion of what it takes for a system to be explainable is still missing. To address this problem, we propose a characterization of explainable systems that consolidates existing research. By providing a unified terminology, we lay a basis for the classification of both existing and future research, and the formulation of precise requirements towards such systems.

研究动机与目标

• 解决软件和信息物理系统中可解释系统缺乏共享概念基础的问题。
• 通过建立通用术语和概念框架，统一可解释性研究的多样化努力。
• 系统性地阐明解释如何与系统方面、目标群体和表征形式相关联。
• 将可解释性定位为软件工程和需求工程中的非功能性需求。
• 通过结构化表征方式，实现对现有及未来可解释性方法的分类、比较与评估。

提出的方法

• 提出对解释的形式化表征：解释是一种表征 E，使目标群体 G 的代表性代理 A 能够理解特定系统方面（即被解释项 X）。
• 引入三个核心维度：被解释项（解释什么）、目标群体（谁需要理解）和表征形式（解释如何传达）。
• 利用科学哲学、认知科学和软件工程中的既有概念，将该框架建立在既有理论基础之上。
• 将该框架应用于一个真实案例：当汽车导航系统偏离高速公路时，解释如何缓解用户的困惑。
• 沿所提出的维度对现有可解释人工智能与软件工程研究进行分类，展示不同方法如何与该框架对齐。
• 将可解释性视为非功能性需求，建议在需求工程和软件设计过程中整合该概念，并提供规范与实现的指导原则。

实验结果

研究问题

• RQ1 在软件驱动和信息物理系统背景下，什么构成了有效的解释？
• RQ2 如何在不同系统方面、目标群体和表征形式之间系统性地表征可解释性？
• RQ3 如何通过统一的概念框架对可解释人工智能与软件工程的现有研究进行分类与比较？
• RQ4 在软件开发和需求工程中，如何将可解释性视为非功能性需求？
• RQ5 可解释性具有相对性而非绝对性，这对系统设计与评估有何影响？

主要发现

• 可解释性并非系统的绝对属性，而是相对于特定方面（被解释项）、目标群体和表征形式而言的。
• 所提出的表征方式能够通过将方法映射到三个维度（被解释项、目标群体、表征形式）来系统性地分类和比较现有可解释性方法。
• 只有当表征形式被目标群体的代表性代理处理并实现对被解释项的理解时，解释才有效。
• 该框架通过将可解释性视为非功能性需求，支持其在软件工程中的集成，对需求工程和系统设计具有重要意义。
• 该表征方式揭示，当前许多XAI方法针对专家设计，未能有效服务普通用户，凸显了以用户为中心的解释设计的必要性。
• 未来工作应聚焦于定义上下文相关的解释质量特征（如准确性、可信度），并开发特定领域的可解释性水平认证体系。