[论文解读] Automatically detecting data drift in machine learning classifiers

Samuel Ackerman, Orna Raz+2 more|arXiv (Cornell University)|Nov 10, 2021

Anomaly Detection Techniques and Applications参考文献 12被引用 7

一句话总结

本文提出了一种新颖的、无需标签的方法，仅通过模型的预测标签和置信度分数，即可自动检测机器学习分类器中的数据漂移。通过将序列变化点检测应用于这些置信度值，该方法在性能下降时能更早且误报更少地检测到漂移，相较于非序列方法，在三个不同数据集上均表现出有效性，且无需输入数据或真实标签。

ABSTRACT

Classifiers and other statistics-based machine learning (ML) techniques generalize, or learn, based on various statistical properties of the training data. The assumption underlying statistical ML resulting in theoretical or empirical performance guarantees is that the distribution of the training data is representative of the production data distribution. This assumption often breaks; for instance, statistical distributions of the data may change. We term changes that affect ML performance `data drift' or `drift'. Many classification techniques compute a measure of confidence in their results. This measure might not reflect the actual ML performance. A famous example is the Panda picture that is correctly classified as such with a confidence of about 60\%, but when noise is added it is incorrectly classified as a Gibbon with a confidence of above 99\%. However, the work we report on here suggests that a classifier's measure of confidence can be used for the purpose of detecting data drift. We propose an approach based solely on classifier suggested labels and its confidence in them, for alerting on data distribution or feature space changes that are likely to cause data drift. Our approach identities degradation in model performance and does not require labeling of data in production which is often lacking or delayed. Our experiments with three different data sets and classifiers demonstrate the effectiveness of this approach in detecting data drift. This is especially encouraging as the classification itself may or may not be correct and no model input data is required. We further explore the statistical approach of sequential change-point tests to automatically determine the amount of data needed in order to identify drift while controlling the false positive rate (Type-1 error).

研究动机与目标

• 为解决在部署的机器学习系统中检测数据漂移这一关键挑战，其中真实标签通常不可用或存在延迟。
• 定义一类新型的“审计者”——具体为分类器置信度审计者——仅通过模型输出即可检测漂移。
• 开发一种在不改变数据语义的前提下模拟数据漂移的框架，从而实现对漂移检测方法的可控评估。
• 应用序列变化点分析，以控制漂移检测中的误报率，同时保持对性能下降的敏感性。
• 证明尽管置信度分数作为正确性的指示器并不可靠，但可作为检测分布偏移的有效信号。

提出的方法

• 分类器置信度审计者通过监控预测置信度分数的分布随时间的变化，检测显著偏移以识别数据漂移。
• 采用序列变化点检测方法（CPM）对置信度分数进行分析，以统计严谨的方式识别漂移的起始时间。
• 通过在类生产数据中修改特征分布的方式，以受控方式模拟数据漂移，同时保持语义含义不变。
• 利用检测延迟和误报率等指标，在多个分类器和数据集上评估审计者的性能。
• 通过序列假设检验实现第一类错误（误报率）的统计控制，确保在实时监控中的可靠性。
• 该方法无需访问输入特征或真实标签，因此适用于现实世界中的业务应用场景。

实验结果

研究问题

• RQ1 在无法访问输入数据或标签的情况下，分类器置信度分数能否作为检测数据漂移的可靠信号？
• RQ2 在实时监控中，序列变化点分析在控制误报率方面检测漂移的效率如何？
• RQ3 能否以保持数据语义不变的方式模拟数据漂移，同时实现对检测方法的系统性评估？
• RQ4 与非序列检测方法相比，置信度审计者在检测速度和准确性方面表现如何？
• RQ5 不同类型的数据漂移（如特征分布偏移）对基于置信度的审计者性能有何影响？

主要发现

• 分类器置信度审计者在三个不同数据集和多个分类器模型上成功检测到数据漂移，即使模型的预测结果未必正确。
• 与非序列T检验方法相比，序列变化点检测（CPM）实现了更快的检测速度和显著更低的误报率。
• 基于CPM的方法在真实变化点之后数个样本内（约第50个样本）即检测到漂移，检测分布集中在偏移发生后不久。
• 非序列方法要么在真实变化点之前触发误报（'pairs'），要么检测漂移过晚（'splits'），凸显了序列分析的优势。
• 该方法在无需标签数据或输入特征的情况下实现了可靠的漂移检测，使其在现实世界中无标签的生产环境中具有实际应用价值。
• 该框架表明，尽管置信度分数作为模型正确性的指示器表现不佳，但可作为检测分布偏移的强大信号。