[论文解读] Interpretable Active Learning

Richard L. Phillips, Kyu Hyun Chang+1 more|arXiv (Cornell University)|Jul 31, 2017

Machine Learning and Algorithms参考文献 14被引用 11

一句话总结

本文提出一种基于LIME的解释方法，用于解释主动学习查询，并引入不确定性偏倚作为定量度量，以追踪模型不确定性在子群中的差异。通过生成每个查询的不确定性解释，并根据共享的不确定性来源对样本进行聚类，该方法使领域专家能够理解为何特定样本被选中，同时可追踪随时间推移在受保护或具有重要意义的子群中不确定性如何被逐步消除。

ABSTRACT

Active learning has long been a topic of study in machine learning. However, as increasingly complex and opaque models have become standard practice, the process of active learning, too, has become more opaque. There has been little investigation into interpreting what specific trends and patterns an active learning strategy may be exploring. This work expands on the Local Interpretable Model-agnostic Explanations framework (LIME) to provide explanations for active learning recommendations. We demonstrate how LIME can be used to generate locally faithful explanations for an active learning strategy, and how these explanations can be used to understand how different models and datasets explore a problem space over time. In order to quantify the per-subgroup differences in how an active learning strategy queries spatial regions, we introduce a notion of uncertainty bias (based on disparate impact) to measure the discrepancy in the confidence for a model's predictions between one subgroup and another. Using the uncertainty bias measure, we show that our query explanations accurately reflect the subgroup focus of the active learning queries, allowing for an interpretable explanation of what is being learned as points with similar sources of uncertainty have their uncertainty bias resolved. We demonstrate that this technique can be applied to track uncertainty bias over user-defined clusters or automatically generated clusters based on the source of uncertainty.

研究动机与目标

• 通过提供不确定性局部、实例级别的解释，使主动学习查询对领域专家可解释。
• 通过受差别影响启发的新型不确定性偏倚度量，量化模型在子群间不确定性差异。
• 使专家能够通过理解正在探索的数据聚类及其原因，评估并引导主动学习过程。
• 证明不确定性偏倚能准确反映主动学习对不确定性更高的子群的关注，尤其在复杂的真实世界数据集中。
• 通过将查询选择与可解释的不确定性模式关联，支持在昂贵标注场景中专家的反馈与决策。

提出的方法

• 将LIME方法适配用于生成单个主动学习查询的局部、忠实解释，识别对预测不确定性贡献最大的特征。
• 将不确定性偏倚定义为子群与总体之间模型置信度的绝对差异，用以衡量查询选择中潜在的系统性偏差。
• 基于共享的不确定性来源（例如，对不确定性贡献相似的特征）对数据点进行聚类，聚类可由用户定义或自动生成。
• 通过在每次标注轮次后计算每个聚类的不确定性偏倚，追踪其随时间的变化，展示偏差如何随不确定性被逐步消除而演变。
• 采用2%的特征贡献差异阈值，以确定哪些属性在不确定性解释中占主导地位，使领域专家能够调节解释的粒度。
• 在具有高维、领域特定特征的真实世界数据集（ProPublica与Dark Reactions）上应用该框架，以验证可解释性与偏差追踪的有效性。

实验结果

研究问题

• RQ1 如何以领域专家可理解的方式解释主动学习查询？
• RQ2 主动学习策略在多大程度上不成比例地针对不确定性更高的子群？这种现象如何量化？
• RQ3 不确定性偏倚能否作为可靠度量，用于追踪主动学习过程中子群间模型不确定性的差异？
• RQ4 特征层面的不确定性解释如何帮助专家理解并引导查询选择过程？
• RQ5 基于不确定性来源自动生成的聚类，能否提供有意义且可解释的关于学习轨迹的洞察？

主要发现

• 不确定性偏倚度量成功量化了子群间模型置信度的差异，揭示出主动学习查询系统性地更可能针对不确定性更高的聚类。
• 在ProPublica数据集中，前六个被标注的聚类显示出清晰的不确定性偏倚模式，其中被查询最多的聚类具有最高的偏倚，表明对高不确定性区域的针对性探索。
• 在Dark Reactions数据集中，共分析了274个特征，大多数聚类至少存在一个显著的不确定性来源（超过2%阈值），部分聚类表现出高度多样的不确定性来源，表明存在复杂、多方面的不确定性。
• 在Dark Reactions数据集中，被最广泛探索的聚类并无单一主导特征，表明不确定性来源高度多样化；而具有相似不确定性来源的其他聚类则被一起探索，证实了查询关注的一致性。
• 专家验证的直觉与解释结果一致：长时间、中等温度的反应因潜在成功但高失败率而表现出更高的不确定性偏倚，而短时间反应则更具可预测性。
• 该方法使专家可通过2%阈值调节解释粒度，从而在不依赖固有可解释特征的前提下，获得更详细或更简略的不确定性来源洞察。