[论文解读] Context-Aware Drift Detection

Oliver Cobb, Arnaud Van Looveren|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出了一种上下文感知的漂移检测框架，仅在分布偏移无法由指定的上下文因素（如一天中的时间或模型预测）解释时才检测分布偏移，采用最大条件均值差异（MMD-ADiTT）实现稳健且校准良好的检测。该方法在真实世界视觉任务中检测子群体漂移和协变量偏移方面，相较于基线方法表现出更优性能，包括ImageNet规模的问题。

ABSTRACT

When monitoring machine learning systems, two-sample tests of homogeneity form the foundation upon which existing approaches to drift detection build. They are used to test for evidence that the distribution underlying recent deployment data differs from that underlying the historical reference data. Often, however, various factors such as time-induced correlation mean that batches of recent deployment data are not expected to form an i.i.d. sample from the historical data distribution. Instead we may wish to test for differences in the distributions conditional on extit{context} that is permitted to change. To facilitate this we borrow machinery from the causal inference domain to develop a more general drift detection framework built upon a foundation of two-sample tests for conditional distributional treatment effects. We recommend a particular instantiation of the framework based on maximum conditional mean discrepancies. We then provide an empirical study demonstrating its effectiveness for various drift detection problems of practical interest, such as detecting drift in the distributions underlying subpopulations of data in a manner that is insensitive to their respective prevalences. The study additionally demonstrates applicability to ImageNet-scale vision problems.

研究动机与目标

• 解决现有漂移检测器的局限性，即假设部署数据为独立同分布（i.i.d.），当上下文（如一天中的时间、模型预测）自然变化时会失效。
• 开发一种通用框架，允许从业者指定允许变化的上下文变量，仅将检测聚焦于未被解释的分布偏移。
• 推荐并验证基于最大条件均值差异（MMD-ADiTT）的框架实例化，以提升校准性和统计功效。
• 在实际问题中展示该方法的有效性，包括在计算机视觉中使用ImageNet规模数据检测子群体漂移和协变量偏移。

提出的方法

• 该框架将两样本同质性检验扩展至条件分布处理效应，将漂移建模为上下文的函数。
• 采用最大条件均值差异（MMD-ADiTT）作为检验统计量，以衡量给定上下文下条件分布的差异。
• 该方法使用基于核的MMD，结合高斯RBF核，应用于预训练SimCLR主干网络提取的图像数据特征。
• 通过拒绝采样进行上下文的密度估计，重点在于在子群体流行率变化时保持校准性。
• 该框架支持多种上下文类型，包括一天中的时间、子群体成员身份和模型预测。
• 该方法已作为开源alibi-detect库的一部分发布，便于实际部署。

实验结果

研究问题

• RQ1 漂移检测能否在不增加误报率的前提下，对自然且允许的上下文变化（如一天中的时间或模型预测分布）保持稳健？
• RQ2 在检测子群体漂移时，所提出的MMD-ADiTT方法相较于标准MMD和MMD-Sub在校准性和统计功效方面表现如何？
• RQ3 上下文感知漂移检测在多大程度上能够检测到有意义的分布偏移，同时对由上下文引起的分布变化保持不敏感？
• RQ4 该框架在真实世界计算机视觉系统中检测基于模型预测的协变量漂移时，效果如何？
• RQ5 该方法能否在不同样本大小和子群体流行率变化下保持校准性和统计功效？

主要发现

• MMD-ADiTT在不同子群体流行率下均保持良好的校准性，而MMD-Sub由于不完美密度估计带来的偏差，校准性逐渐下降。
• 在所有样本大小下，MMD-ADiTT在检测子群体均值和方差变化方面，相较于MMD-Sub具有显著更高的统计功效。
• 在模型预测漂移情况下，MMD-ADiTT即使在六维空间中估计密度，仍能保持良好校准性，而MMD-Sub无法维持校准性。
• 当仅六个ImageNet超类中的一个或两个发生漂移时，MMD-ADiTT通过聚焦于上下文特定的偏移，在功效上优于标准MMD。
• 当漂移的子群体数量增至三个或以上时，标准MMD与MMD-ADiTT的功效相当，证实了该方法在需要时对全局偏移的敏感性。
• 该框架成功检测到ImageNet规模视觉任务中的漂移，展示了其在真实世界部署监控中的可扩展性和实际相关性。