[论文解读] The Role of Individual User Differences in Interpretable and Explainable Machine Learning Systems

Lydia P. Gleaves, Reva Schwartz+1 more|arXiv (Cornell University)|Sep 14, 2020

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本研究探讨了个体差异（尤其是数学能力、认知需求以及数据科学专业技能）如何影响用户对机器学习模型输出的解释与理解能力。基于模糊痕迹理论，研究发现可解释性与可解释性是不同的认知过程：可解释性与元认知特质及精确的心理表征密切相关，而可解释性则无显著预测因子。研究结果强调了在设计机器学习系统时应考虑用户个体心理模型的必要性。

ABSTRACT

There is increased interest in assisting non-expert audiences to effectively interact with machine learning (ML) tools and understand the complex output such systems produce. Here, we describe user experiments designed to study how individual skills and personality traits predict interpretability, explainability, and knowledge discovery from ML generated model output. Our work relies on Fuzzy Trace Theory, a leading theory of how humans process numerical stimuli, to examine how different end users will interpret the output they receive while interacting with the ML system. While our sample was small, we found that interpretability -- being able to make sense of system output -- and explainability -- understanding how that output was generated -- were distinct aspects of user experience. Additionally, subjects were more able to interpret model output if they possessed individual traits that promote metacognitive monitoring and editing, associated with more detailed, verbatim, processing of ML output. Finally, subjects who are more familiar with ML systems felt better supported by them and more able to discover new patterns in data; however, this did not necessarily translate to meaningful insights. Our work motivates the design of systems that explicitly take users' mental representations into account during the design process to more effectively support end user requirements.

研究动机与目标

• 探讨用户在技能与人格特质方面的个体差异如何影响其对机器学习模型输出的解释与理解能力。
• 检验非专家用户在与机器学习系统交互时，可解释性与可解释性是否为认知上不同的过程。
• 评估模糊痕迹理论在预测用户如何编码与处理模型输出表征方面的作用。
• 识别哪些用户特征（如数学能力、认知需求或数据科学专业技能）可预测用户对机器学习输出的有效解释与新发现。
• 通过基于实证验证的人类认知理论，为可解释与可解释的机器学习系统设计提供依据。

提出的方法

• 在设计活动中，对非专家参与者与四个自动化机器学习系统进行用户实验。
• 应用模糊痕迹理论，建模用户如何将模型输出编码为字面（精确）或核心（抽象）表征。
• 通过结构化评估与系统交互，收集关于可解释性、可解释性与知识发现的数据。
• 使用因子分析检验可解释性与可解释性的结构，确认其具有独立的因子载荷。
• 采用回归模型检验可解释性与可解释性的预测因子，控制系统类型、数据集与用户特征。
• 通过自我报告的数据科学专业技能、数学能力与认知需求测量个体差异，并通过因子分析进行验证。

实验结果

研究问题

• RQ1 数学能力与认知需求的个体差异在多大程度上影响用户对机器学习模型输出的可解释性？
• RQ2 可解释性与可解释性是否为认知上不同的过程，还是依赖于共享的心理表征？
• RQ3 用户对机器学习系统的先前经验在多大程度上可预测其在数据中发现新模式的能力？
• RQ4 不同系统设计在独立于用户特质的情况下，如何影响用户的可解释性与可解释性结果？
• RQ5 哪些用户特征最能预测用户生成有意义的模型输出解释的能力？

主要发现

• 可解释性与可解释性被证实为不同的认知过程，确认性因子分析显示其具有独立的因子载荷。
• 数学能力与认知需求较高的个体表现出显著更强的可解释性，表明其更依赖精确的字面心理表征。
• 对正式方法与机器学习系统的熟悉度与模式发现能力正相关，但未必带来更深层次的理解。
• 预测有意义解释能力的最强因子是使用'系统A'，表明系统设计在可解释性中起关键作用。
• 可解释性未发现显著预测因子，表明其可能无法被所测量的用户特质可靠预测。
• 数据集类型显著影响知识发现，其中植物学与反恐数据集对用户而言更难有效探索。