[论文解读] Personalized explanation in machine learning.

Johannes Schneider, Joshua Handali|arXiv (Cornell University)|Jan 3, 2019

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文通过使用通过诱发技术收集的解释对象特定数据，识别出复杂性、决策信息和呈现方式等关键个性化维度，提出了一种用于机器学习个性化解释的概念框架。它引入了新的理想特性与可量化的度量指标，以评估个性化解释的质量，通过量身定制的模型解释推进可解释性。

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee information used in the process of personalization as well as describing means to collect this information. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

研究动机与目标

• 通过整合解释、个性化、隐私和知识诱发等领域的洞见，为机器学习中的个性化解释建立概念基础。
• 对个性化中使用的用户特定信息类型进行分类，并识别有效收集此类数据的方法。
• 定义并形式化三种核心解释属性——复杂性、决策信息和呈现方式——使其可针对个体用户进行调整。
• 引入新的理想特性与定量度量指标，以指导个性化解释的设计与评估。

提出的方法

• 通过综合机器学习解释、个性化及相关领域先前的研究，推导出个性化解释的概念化。
• 将解释对象信息分类为用户专业知识、目标和上下文等类别，并概述了包括直接诱发和隐式观察在内的数据收集技术。
• 围绕三个关键解释属性构建个性化：复杂性（简化程度）、决策信息（相关模型输出）和呈现方式（格式与模态）。
• 引入个性化解释的新理想特性，如相关性、准确性与用户一致性，以指导设计与评估。
• 提出定量度量指标以评估解释质量，包括用户特定的保真度与可理解性得分。
• 整合知识诱发技术，以用户档案和反馈为基础动态调整解释。

实验结果

研究问题

• RQ1 如何从概念上构建和组织机器学习中的个性化解释，以提升用户的理解能力？
• RQ2 哪些类型的用户特定信息在个性化解释中最为有效，以及如何收集这些信息？
• RQ3 在哪些方面可以针对个体用户调整三种核心属性——复杂性、决策信息与呈现方式？
• RQ4 需要哪些新的理想特性来指导高质量个性化解释的设计？
• RQ5 如何对个性化解释的质量进行定量测量与验证？

主要发现

• 本文建立了一个全面的概念框架，将个性化解释形式化为一个涉及用户特定数据与自适应解释属性的结构化过程。
• 识别出三个关键解释属性——复杂性、决策信息与呈现方式——作为个性化的首要目标，每项均可针对用户进行特定调整。
• 研究引入了相关性、准确性与用户一致性等新理想特性，显著增强了个性化解释的设计与评估能力。
• 提出了可量化的度量指标以衡量解释质量，实现了对个性化解释系统客观比较与优化。
• 该框架支持基于用户档案与反馈的解释动态自适应，从而提升可解释性与用户参与度。