[论文解读] Beneficial and Harmful Explanatory Machine Learning

Lun Ai, Stephen Muggleton+3 more|arXiv (Cornell University)|Sep 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用 5

一句话总结

本文提出了一种认知窗口框架，用于评估机器学习的符号理论在双人游戏中是否对人类学习产生有益或有害的影响。通过测量理论复杂度和执行栈需求，研究发现过于复杂的理论会降低人类表现，而结构良好的理论则能显著提升表现——这表明在超强大机器学习中，既存在有益也存在有害的解释效应。

ABSTRACT

Given the recent successes of Deep Learning in AI there has been increased interest in the role and need for explanations in machine learned theories. A distinct notion in this context is that of Michie's definition of Ultra-Strong Machine Learning (USML). USML is demonstrated by a measurable increase in human performance of a task following provision to the human of a symbolic machine learned theory for task performance. A recent paper demonstrates the beneficial effect of a machine learned logic theory for a classification task, yet no existing work to our knowledge has examined the potential harmfulness of machine's involvement for human comprehension during learning. This paper investigates the explanatory effects of a machine learned theory in the context of simple two person games and proposes a framework for identifying the harmfulness of machine explanations based on the Cognitive Science literature. The approach involves a cognitive window consisting of two quantifiable bounds and it is supported by empirical evidence collected from human trials. Our quantitative and qualitative results indicate that human learning aided by a symbolic machine learned theory which satisfies a cognitive window has achieved significantly higher performance than human self learning. Results also demonstrate that human learning aided by a symbolic machine learned theory that fails to satisfy this window leads to significantly worse performance than unaided human learning.

研究动机与目标

• 探究机器学习的符号理论在技能习得过程中是否可能对人类理解产生有害影响。
• 基于认知科学开发一种认知窗口框架，以识别机器解释变得具有破坏性的条件。
• 通过实证方法检验机器学习理论对人类在简单双人游戏中泛化性能的影响。
• 考察理论复杂度和执行栈需求如何影响人类学习结果。
• 通过识别有益和有害的解释效应，拓展超强大机器学习（USML）的概念。

提出的方法

• 该框架通过两个可量化的指标界定认知窗口：机器学习理论的描述复杂度，以及知识应用所需的执行栈。
• 通过两个与井字棋同构的游戏开展实证人类实验，参与者通过机器学习逻辑程序生成的文本和视觉解释进行学习。
• 机器学习系统 MIPlain 从训练数据中生成一阶逻辑规则，随后用于为人类参与者生成自然语言和视觉解释。
• 通过比较人类在有无机器学习理论辅助情况下的泛化分类准确率来衡量表现。
• 对参与者的口头输入进行定性分析，以评估其理解程度和推理模式。
• 通过比较满足或不满足边界条件的理论在表现上的差异，验证认知窗口模型。

实验结果

研究问题

• RQ1 在何种条件下，机器学习的符号理论会损害人类学习表现？
• RQ2 理论复杂度和执行栈需求如何影响机器学习模型的解释有效性？
• RQ3 认知窗口框架能否预测机器学习理论对人类理解是有益还是有害的？
• RQ4 与未经辅助的人类学习相比，机器学习理论在多大程度上提升了泛化性能？
• RQ5 为何某些机器解释尽管在逻辑上正确，却仍会降低人类表现？

主要发现

• 当人类学习受到满足认知窗口边界的机器学习理论辅助时，表现显著提高，证实了有益的解释效应。
• 当机器学习理论未能满足认知窗口（由于复杂度过高或执行栈需求过大）时，人类表现相比未辅助学习显著下降。
• 本研究提供了实证证据，表明并非所有符号化的机器学习理论都有益；部分理论可能对人类理解产生实际损害。
• 认知窗口框架成功基于理论复杂度和执行栈约束，预测了机器学习理论的解释质量。
• 接受过于复杂理论解释的参与者报告了困惑和策略错位，其移动行为所推断出的逻辑程序与解释不匹配。
• 结果表明，解释质量不仅取决于逻辑正确性，还取决于与人类处理能力的认知一致性。