[论文解读] Counterfactual Explanations of Concept Drift

Fabian Hinder, Barbara Hammer|arXiv (Cornell University)|Jun 23, 2020

Data Stream Mining Techniques参考文献 28被引用 4

一句话总结

本文提出了一种新颖的框架，通过使用反事实解释在时间上识别并追踪特征数据样本，以解释机器学习中的概念漂移。该框架将漂移形式化为代表性原型的变化，并提出了一种高效算法，在识别与漂移相关的特征方面优于基线方法，尤其在重采样和加权的情况下，增强了模型的可解释性，并使人类能够对终身学习系统中的适应行为进行明智干预。

ABSTRACT

The notion of concept drift refers to the phenomenon that the distribution, which is underlying the observed data, changes over time; as a consequence machine learning models may become inaccurate and need adjustment. While there do exist methods to detect concept drift or to adjust models in the presence of observed drift, the question of explaining drift has hardly been considered so far. This problem is of importance, since it enables an inspection of the most prominent features where drift manifests itself; hence it enables human understanding of the necessity of change and it increases acceptance of life-long learning models. In this paper we present a novel technology, which characterizes concept drift in terms of the characteristic change of spatial features represented by typical examples based on counterfactual explanations. We establish a formal definition of this problem, derive an efficient algorithmic solution based on counterfactual explanations, and demonstrate its usefulness in several examples.

研究动机与目标

• 为解决概念漂移缺乏可解释方法的问题，该问题阻碍了人类对自适应机器学习系统的理解与干预。
• 不仅将概念漂移形式化为统计变化，更将其视为随时间推移的代表性数据样本（原型）的演化过程。
• 开发一种高效算法，以识别并追踪最能反映底层漂移的关键数据点。
• 通过可视化关键原型的演化过程，使人类用户能够检查并理解模型为何需要适应。
• 在具有已知和未知真实标签的合成与真实世界数据集上，评估该方法的鲁棒性与有效性。

提出的方法

• 将概念漂移形式化为随时间变化的特征数据点（原型）的变化，利用反事实推理解释样本分类或行为变化的原因与方式。
• 定义两个关键指标：可识别性（i）和一致性（C），用于评估所识别原型在捕捉与漂移相关变化方面的质量。
• 应用聚类算法（k-means、亲和传播、均值漂移）结合重采样和加权，以提升原型选择效果，尤其在高维或重叠数据中表现更优。
• 采用两阶段流程：首先通过聚类识别候选原型；其次利用反事实扰动对原型进行精炼，以评估其对漂移的敏感性。
• 采用重采样和加权以增强所选原型的稳定性和代表性，尤其在复杂或噪声较大的分布中表现更优。
• 通过合成数据（已知真实标签）和真实世界数据集（数字、葡萄酒、波士顿、糖尿病、人脸）进行性能评估，共进行30轮实验。

实验结果

研究问题

• RQ1 如何通过代表性数据样本的变化而非单纯的统计变化，对概念漂移进行有意义的解释？
• RQ2 哪些聚类与精炼策略最能识别出其演化最能反映底层漂移的原型？
• RQ3 重采样与加权在多大程度上提升了检测到的原型的可识别性与一致性？
• RQ4 在不同数据分布下，k-means、亲和传播、均值漂移等算法在检测与漂移相关的原型方面表现如何比较？
• RQ5 所提出的方法是否能让人类用户直观理解模型为何需要适应，基于原型演化的可视化？

主要发现

• 在所有基准数据集上，结合重采样与加权的亲和传播和k-means方法在识别与漂移相关的原型方面始终优于基线方法。
• 在数字和人脸数据集中，k-means结合重采样与加权在可识别性得分上分别达到0.84和0.80，显著优于基线k-means（分别为0.49和0.29）。
• 在数字数据集上，亲和传播实现了最高的平均可识别性（0.87），表明其在检测显著漂移模式方面表现优异。
• 均值漂移在回归和高类别数据集上表现出高方差和较差性能（如人脸数据集上为0.34），表明其原型选择存在不稳定性。
• 在具有已知真实标签的合成数据中，重采样显著提升了可识别性（i），而维度对一致性（C）有显著影响，尤其在高维正态分布中。
• 结果表明，直接优化一致性（C）的效果不如聚焦于可识别性（i），因为前者可能被密度估计误差所抵消。