[论文解读] Personalized explanation in machine learning: A conceptualization

Johanes Schneider, Joshua Handali|arXiv (Cornell University)|Jan 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 77被引用 12

一句话总结

本文提出了一种个性化机器学习解释的理论框架，定义了如何利用个体用户特征（如专业知识、偏好和上下文）来定制解释，以提升可理解性。它识别出三个关键可个性化属性：复杂度、决策信息和呈现方式，并提出了评估解释质量的期望标准和度量指标，通过结构化、以用户为中心的方法推动可解释人工智能领域的发展。

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee data used in the process of personalization as well as describing means to collect this data. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

研究动机与目标

• 为弥合可解释人工智能领域的空白，形式化阐述个性化如何提升机器学习模型决策的可理解性。
• 识别并构建解释个性化中的关键维度，包括用户特定数据和解释属性。
• 提出新的期望标准和定量度量方法，用于评估个性化解释的质量。
• 整合隐私、知识获取和机器学习个性化领域的洞见，构建连贯的概念基础。
• 提供解释对象数据的分类体系及数据收集方法，支持个性化解释系统的设计系统化。

提出的方法

• 作者通过综合机器学习解释、个性化及相关领域（如隐私和知识获取）的既有研究，推导出一个概念框架。
• 他们将解释对象数据分类为类型，如用户专业知识、认知偏好和情境因素，并描述了包括调查、隐式反馈和直接输入在内的数据收集方法。
• 该框架识别出三种可个性化的核心解释属性：复杂度（简化程度）、决策信息（内容相关性）和呈现方式（格式和模态）。
• 该方法引入了个性化解释的新期望标准，如相关性、准确性和适应性，并提出了量化解释质量的度量指标。
• 该方法通过将个性化建立在用户特定数据基础上，同时确保与模型透明度和公平性的一致性，强调以用户为中心的设计。
• 它提供了一个组织解释个性化的结构化分类体系，支持个性化解释系统的设计与评估的系统化。

实验结果

研究问题

• RQ1 如何系统性地将用户特定特征融入机器学习解释中，以提升可理解性？
• RQ2 哪些解释属性可以个性化，它们如何影响用户的理解？
• RQ3 哪些类型的解释对象数据在个性化解释中最为有效，以及如何伦理且高效地收集它们？
• RQ4 应以何种标准或期望来指导高质量个性化解释的设计？
• RQ5 如何以系统化的方式衡量和评估个性化解释的质量？

主要发现

• 本文确立了个性化解释可系统性地围绕三个核心属性展开：复杂度、决策信息和呈现方式。
• 它识别出多种解释对象数据类型（如专业知识水平、认知风格和情境偏好），可用于定制解释。
• 作者提出了一套个性化解释的期望标准，包括相关性、准确性和适应性，以指导设计与评估。
• 该框架引入了量化解释质量的度量指标，使个性化解释系统的客观比较与改进成为可能。
• 该概念化为未来个性化可解释人工智能的实证研究与系统开发提供了基础。
• 该工作已被接受在ECIS 2019上发表，表明其在学术界被视为一项基础性概念贡献而获得认可。