[论文解读] Machine Guides, Human Supervises: Interactive Learning with Global Explanations

Teodora Popordanoska, Mohit Kumar+1 more|arXiv (Cornell University)|Sep 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 42被引用 6

一句话总结

本文提出了一种新型交互式机器学习框架——解释性引导学习（XGL），其中人类选择样本，机器则通过分类器决策面的全局解释来引导人类。XGL 通过暴露模型在整个实例空间中的缺陷，减轻了叙事偏差，即使在存在未知未知因素的情况下也能提升模型质量，其表现优于机器和人类主导的策略。

ABSTRACT

We introduce explanatory guided learning (XGL), a novel interactive learning strategy in which a machine guides a human supervisor toward selecting informative examples for a classifier. The guidance is provided by means of global explanations, which summarize the classifier's behavior on different regions of the instance space and expose its flaws. Compared to other explanatory interactive learning strategies, which are machine-initiated and rely on local explanations, XGL is designed to be robust against cases in which the explanations supplied by the machine oversell the classifier's quality. Moreover, XGL leverages global explanations to open up the black-box of human-initiated interaction, enabling supervisors to select informative examples that challenge the learned model. By drawing a link to interactive machine teaching, we show theoretically that global explanations are a viable approach for guiding supervisors. Our simulations show that explanatory guided learning avoids overselling the model's quality and performs comparably or better than machine- and human-initiated interactive learning strategies in terms of model quality.

研究动机与目标

• 为了解决解释性交互学习中的叙事偏差问题，即由于未知未知因素（高置信度错误）导致局部解释过度夸大模型性能。
• 设计一种由人类监督者驱动的学习协议，即使模型对其自身缺陷一无所知，也能保持鲁棒性。
• 验证全局解释作为交互式学习中机器引导的有效且可行形式。
• 证明全局解释可使监督者识别并选择具有信息量、具有挑战性的样本，从而提升模型质量。
• 为 XGL 提供理论基础，将其与交互式机器教学联系起来，突出解释复杂性与监督质量之间的权衡。

提出的方法

• XGL 使用全局解释来总结分类器在实例空间不同区域的行为，暴露系统性缺陷和偏差。
• 机器将这些全局解释提供给人类监督者，以指导其选择具有信息量、高影响力的样本——特别是那些能挑战模型当前决策边界的样本。
• 与聚焦于单个查询的局部解释不同，全局解释可避免强化模型在已知错误区域的虚假自信。
• 该方法在理论上通过与交互式机器教学的关联得到支撑，表明全局解释可引导构建高质量训练集。
• 开发了一种基于规则的实现方法（hinter），用于实例化 XGL，并与人类和机器主导的基线方法进行性能对比。
• 该方法支持次优和注意力不集中的用户，在监督者未始终选择最具信息量样本的情况下仍保持强劲性能。

实验结果

研究问题

• RQ1 在模型存在未知未知因素的情况下，全局解释是否能有效引导人类监督者选择具有信息量的样本？
• RQ2 在模型质量与叙事偏差的鲁棒性方面，XGL 与机器主导和人类主导的交互式学习策略相比表现如何？
• RQ3 全局解释与交互式机器教学之间存在何种理论关系？该关系如何支持有效监督的设计？
• RQ4 当监督者在样本选择上注意力不集中或表现次优时，XGL 的性能能维持到何种程度？
• RQ5 全局解释是否有助于监督者识别并纠正局部解释可能掩盖的系统性模型缺陷？

主要发现

• XGL 通过避免过度依赖可能歪曲模型在未知未知区域真实性能的局部解释，显著减少了叙事偏差。
• 在合成数据集和真实世界数据集中，XGL 实现的模型质量与机器或人类主导的交互式学习策略相当或更优。
• 即使在噪声较大或监督者次优的情况下，XGL 仍保持强劲性能，尤其当监督者至少 50% 的时间选择具有信息量的错误样本时。
• 当规则选择阈值降低一个数量级时，XGL 的性能依然稳定，表明其对不同水平监督者注意力的鲁棒性。
• 全局解释使监督者能够识别并验证可解释的规则（例如在肝炎数据集中），证明其在真实世界领域中的实际可用性。
• 与交互式机器教学的理论关联证实，全局解释是引导高质量训练集构建的可行机制。