[论文解读] Explainable Machine Learning with Prior Knowledge: An Overview

Katharina Beckh, Sebastian Müller+7 more|arXiv (Cornell University)|May 21, 2021

Explainable Artificial Intelligence (XAI)参考文献 84被引用 30

一句话总结

关于将先验知识融入以提升可解释性机器学习的综述，将方法分为在学习管线中整合知识、在可解释性方法中整合知识，或从解释中推导知识。

ABSTRACT

This survey presents an overview of integrating prior knowledge into machine learning systems in order to improve explainability. The complexity of machine learning models has elicited research to make them more explainable. However, most explainability methods cannot provide insight beyond the given data, requiring additional information about the context. We propose to harness prior knowledge to improve upon the explanation capabilities of machine learning models. In this paper, we present a categorization of current research into three main categories which either integrate knowledge into the machine learning pipeline, into the explainability method or derive knowledge from explanations. To classify the papers, we build upon the existing taxonomy of informed machine learning and extend it from the perspective of explainability. We conclude with open challenges and research directions.

研究动机与目标

• 激励使用先验知识以克服仅依赖数据的可解释性局限。
• 提出一个分类法（IML）用于对可解释性中的知识整合在机器学习中的分类。
• 描述三条知识驱动的可解释性机器学习的主要途径，并通过示例进行说明。
• 突出未解决的挑战并提出该领域的未来研究方向。

提出的方法

• 根据三种整合范式对现有工作进行分类：整合到 ML 流程中、整合到可解释性方法中，或从解释中推导知识。
• 采用并扩展知情机器学习（IML）分类法，将知识整合与可解释性相关的框架。
• 对训练数据、假设集、学习算法和最终假设阶段的应用进行调研。
• 讨论对解释的形式化先验和交互式解释作为将解释与领域知识对齐的机制。
• 建议扩展 IML 框架，使知识推导的洞见反馈进入管线。

实验结果

研究问题

• RQ1 如何整合先验知识以提升机器学习解释的质量和有用性？
• RQ2 知识驱动的可解释 ML 的主要类别有哪些？在实践中有何差异？
• RQ3 如何通过先验知识使解释具备上下文感知并面向不同用户进行定制？
• RQ4 在利用先验知识提升可解释性方面还存在哪些未解决的挑战，如何解决？

主要发现

• 将先验知识融入可解释性能够通过使模型与领域概念对齐来提升整个 ML 管线的可解释性。
• 知识可以在多个阶段整合（训练数据、假设集、学习算法、最终假设）以增强可解释性。
• 可解释性方法本身也可以纳入先验知识（形式化解释和互动式解释），超越传统的管线。
• 解释可以用于推导新的知识并重新整合到学习过程，形成反馈回路。
• 本文概述了未解决的挑战和研究方向，强调情境敏感性和以用户为中心的解释。