[论文解读] Knowledge-based XAI through CBR: There is more to explanations than models can tell

Rosina O. Weber, Manil Shrestha+1 more|arXiv (Cornell University)|Aug 23, 2021

Explainable Artificial Intelligence (XAI)参考文献 47被引用 4

一句话总结

本文提出基于知识的可解释人工智能（KBXAI），采用基于案例的推理（CBR）方法，以超越机器学习模型自身所能提供的解释范围。通过整合领域知识和领域专家的见解作为额外特征，KBXAI提升了解释类别分类的准确性——在图像数据中准确率从25%提升至32.5%，在文本数据中准确率从63.43%提升至72.64%，表明模型外部知识显著增强了对多样化利益相关者的可解释性。

ABSTRACT

The underlying hypothesis of knowledge-based explainable artificial intelligence is the data required for data-centric artificial intelligence agents (e.g., neural networks) are less diverse in contents than the data required to explain the decisions of such agents to humans. The idea is that a classifier can attain high accuracy using data that express a phenomenon from one perspective whereas the audience of explanations can entail multiple stakeholders and span diverse perspectives. We hence propose to use domain knowledge to complement the data used by agents. We formulate knowledge-based explainable artificial intelligence as a supervised data classification problem aligned with the CBR methodology. In this formulation, the inputs are case problems composed of both the inputs and outputs of the data-centric agent and case solutions, the outputs, are explanation categories obtained from domain knowledge and subject matter experts. This formulation does not typically lead to an accurate classification, preventing the selection of the correct explanation category. Knowledge-based explainable artificial intelligence extends the data in this formulation by adding features aligned with domain knowledge that can increase accuracy when selecting explanation categories.

研究动机与目标

• 解决当前XAI方法仅依赖模型内部机制的局限性，这些方法往往无法捕捉多样化利益相关者的视角。
• 弥合基于模型的解释与人类用户所需丰富且上下文相关的知识之间的差距。
• 开发一种将领域知识和专家见解整合到解释选择中的框架，以提升准确性和相关性。
• 通过统一的CBR方法，在异构数据类型（表格、图像和文本）上展示KBXAI的有效性。
• 建立一种基于领域专业知识的解释类别生成方法，而非仅依赖模型输出或数据模式。

提出的方法

• 在CBR框架内将KBXAI形式化为监督分类问题，其中案例问题包含模型输入和输出，案例解决方案为基于领域知识推导出的解释类别。
• 通过专家输入和解释嵌入的聚类定义解释类别，使用余弦相似度识别代表性类别。
• 通过添加基于知识的特征（如显著性图、原型相似性（例如，卡车/青蛙）、结构特征（例如，眼睛/鼻子三角形））来提升模型性能，这些特征源自常识或领域知识。
• 利用来自模型输出（如显著性）和外部知识（如原型嵌入）的名义特征和连续特征，扩展输入表示。
• 应用案例扩展学习：在扩展特征上训练分类器，以预测每个实例最合适的解释类别。
• 采用基于嵌入的相似度度量（如余弦相似度）将实例映射到解释类别，并过滤低置信度或冗余类别。

实验结果

研究问题

• RQ1 如何系统性地将领域知识和专家见解整合到XAI中，以在基于模型的归因之外提升解释质量？
• RQ2 哪些基于知识的特征能够提升在多种数据模态中解释类别选择的准确性？
• RQ3 模型外部知识的引入如何影响表格、图像和文本数据中解释分类的性能？
• RQ4 基于CBR的框架能否有效统一异构数据类型中的解释生成，同时保持可解释性和准确性？
• RQ5 模型衍生特征与知识衍生特征在提升解释选择准确性方面各自贡献如何？

主要发现

• 添加基于知识的特征（如青蛙相似性，准确率提升32.5%）和特定于狗的结构特征（如眼睛/鼻子三角形）在图像数据中显著提升了解释分类准确率，远超24%的基线水平。
• 在图像任务中，模型衍生的显著性与基于知识的特征（如原型相似性）相结合，使准确率分别从24%提升至25%和32.5%，后者同时超出数据和模型的外部知识。
• 在基于文本的引用推荐任务中，KBXAI仅使用两个基于知识的特征，便实现了14.5%的准确率提升（从63.43%提升至72.64%），尽管采用二分类设置。
• 解释类别基于专家输入和解释嵌入聚类生成，其中根据测试实例覆盖率选择了12个最常用的类别。
• 来自常识知识的特征（如训练数据中未出现的动物的原型相似性）表现出色，证明其在模型外部解释增强中的价值。
• 尽管基于知识的特征表现优异，该方法仍受限于对名义特征的依赖以及知识获取的可扩展性，凸显未来工作需推进自动化知识学习。