[论文解读] Foundations of Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen+2 more|arXiv (Cornell University)|Mar 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 68被引用 15

一句话总结

本文通过整合专家系统、认知助手、语义网技术和机器学习的历史方法，提出了一套统一的可解释知识增强型系统框架。该框架引入了面向用户和上下文的解释及可解释知识增强型系统的定义，强调可追溯性、来源信息和自适应解释生成，以提升人工智能系统在不同领域和用户角色中的可信度与可用性。

ABSTRACT

Explainability has been an important goal since the early days of Artificial Intelligence. Several approaches for producing explanations have been developed. However, many of these approaches were tightly coupled with the capabilities of the artificial intelligence systems at the time. With the proliferation of AI-enabled systems in sometimes critical settings, there is a need for them to be explainable to end-users and decision-makers. We present a historical overview of explainable artificial intelligence systems, with a focus on knowledge-enabled systems, spanning the expert systems, cognitive assistants, semantic applications, and machine learning domains. Additionally, borrowing from the strengths of past approaches and identifying gaps needed to make explanations user- and context-focused, we propose new definitions for explanations and explainable knowledge-enabled systems.

研究动机与目标

• 解决在医疗保健和金融等高风险领域部署的AI系统中日益增长的可解释性需求。
• 识别现有可解释性方法的局限性，这些方法未能充分考虑用户上下文、角色和先验知识。
• 将专家系统、语义网、认知助手和机器学习等不同历史方法的可解释性理念统一为一个连贯的框架。
• 从用户中心视角重新定义‘解释’和‘可解释知识增强型系统’，强调上下文感知、个性化和来源信息。
• 为下一代混合AI系统奠定基础，整合可解释性、知识表示和自适应解释生成。

提出的方法

• 对专家系统、认知助手、语义网应用和机器学习四个领域中的可解释人工智能进行历史回顾。
• 区分透明性（系统的一般属性）与可解释性（对特定决策的合理化说明），以澄清概念基础。
• 提出优先考虑用户上下文、角色和心智模型构建的解释与可解释知识增强型系统的新型定义。
• 整合过往系统的优势：基于追踪的解释（专家系统）、来源建模（语义网）、模块化任务导向解释（认知助手）以及模型无关可解释性（LIME、SHAP）。
• 引入‘来源感知’和‘上下文感知’解释的概念，以反映用户特定需求和数据血缘关系。
• 利用知识图谱和因果推理，为复杂黑箱模型提供直观、可解释的解释。

Figure 1 : AIR Justification or Explanations View: Once a user clicks the “Why?” button, they will see a description appear in the “Because” box, and the premises that support the justification appear in the “Premises” box. When the user clicks the “More Information” button, the descriptions corresp

实验结果

研究问题

• RQ1 如何使AI系统中的解释具备上下文感知性并针对不同用户角色（如临床医生、患者、管理员）实现个性化？
• RQ2 透明性与可解释性之间的关键区别是什么？如何在知识增强型系统中系统性地定义可解释性？
• RQ3 过去AI系统（如基于规则的追踪、来源建模）中的哪些基础组件可被整合到现代混合AI系统中以提升可解释性？
• RQ4 知识图谱和因果模型如何增强黑箱机器学习模型的可解释性？
• RQ5 当前可解释性技术在应对用户心智模型构建和公平性问题方面存在哪些局限性？

主要发现

• 本文明确区分了透明性——即系统的一般属性——与可解释性，后者指在特定情境下对具体决策的合理化能力。
• 以用户为中心的解释对于建立信任、促进有效协作以及支持用户和系统的心智模型构建至关重要。
• 历史系统如专家系统提供了稳健的基于追踪的解释，而语义网技术则实现了对证据和推理过程的细粒度来源建模。
• 认知助手展示了模块化、任务导向的解释生成能力，支持选择性与自适应的解释传递。
• 像LIME和SHAP这样的模型无关方法虽能提升黑箱模型的可解释性，但在捕捉因果推理和用户特定上下文方面仍存在局限。
• 将知识图谱、因果推理和分类检查机制整合到可解释性中，可显著提升混合AI系统的可解释性和可信度。

Figure 2 : An activity flow diagram of the Integrated Cognitive Explanation Environment (ICEE) that was utilized to explain task-processing systems in the CALO project taken from McGuinness et al. [ 7 ] .