[论文解读] Tracking the risk of a deployed model and detecting harmful distribution shifts

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|Oct 12, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出一种序列框架，通过测试风险函数（如准确率、校准度）的显著增加，来检测部署中机器学习模型的有害分布偏移，采用时间一致的置信序列实现持续监控，且不会增加误报率。该方法可区分有害与良性偏移，并以最少样本检测风险增加，已在模拟数据和真实数据集（包括损坏的MNIST和CIFAR-10）上得到验证。

ABSTRACT

When deployed in the real world, machine learning models inevitably encounter changes in the data distribution, and certain -- but not all -- distribution shifts could result in significant performance degradation. In practice, it may make sense to ignore benign shifts, under which the performance of a deployed model does not degrade substantially, making interventions by a human expert (or model retraining) unnecessary. While several works have developed tests for distribution shifts, these typically either use non-sequential methods, or detect arbitrary shifts (benign or harmful), or both. We argue that a sensible method for firing off a warning has to both (a) detect harmful shifts while ignoring benign ones, and (b) allow continuous monitoring of model performance without increasing the false alarm rate. In this work, we design simple sequential tools for testing if the difference between source (training) and target (test) distributions leads to a significant increase in a risk function of interest, like accuracy or calibration. Recent advances in constructing time-uniform confidence sequences allow efficient aggregation of statistical evidence accumulated during the tracking process. The designed framework is applicable in settings where (some) true labels are revealed after the prediction is performed, or when batches of labels become available in a delayed fashion. We demonstrate the efficacy of the proposed framework through an extensive empirical study on a collection of simulated and real datasets.

研究动机与目标

• 解决现有方法检测所有分布偏移（无论是否有害）的问题，避免不必要的干预。
• 实现实时、持续的模型监控，且不增加误报率。
• 通过检测模型风险（如误分类率、Brier评分）的显著增加，区分良性与有害分布偏移。
• 提供一种实用的序列检验框架，适用于标签延迟到达或分批到达的场景。
• 在合成数据和真实世界数据上验证该方法，包括损坏图像基准（MNIST-C、CIFAR-10-C）。

提出的方法

• 该框架将有害分布偏移的检测建模为在源（训练）分布与目标（测试）分布之间风险函数增加的序列假设检验。
• 使用时间一致置信序列持续聚合统计证据，确保在长时间内保持有效推断，且无多重性问题。
• 该方法采用基于投注的上界置信区间和共轭混合经验伯恩斯坦界，对源域和目标域的风险进行序列估计。
• 对风险差异进行序列估计，仅在以高置信度检测到显著增加（如5%或10%）时触发警报。
• 该方法适用于标签延迟或分批到达的场景，适合真实世界部署。
• 框架采用序列概率比检验（SPRT）和归纳预测原理，以在序列采样下保持误差控制。

实验结果

研究问题

• RQ1 序列检验框架能否在不增加误报率的前提下，检测有害分布偏移，同时忽略良性偏移？
• RQ2 在标签延迟或分批到达的情况下，该方法检测模型风险显著增加（如误分类或校准误差）的效率如何？
• RQ3 该框架能否以极小样本量检测有害偏移，尤其在标准方法失效的情况下？
• RQ4 在真实世界损坏数据集（如MNIST-C和CIFAR-10-C）上，该方法表现如何，这些数据集中的偏移复杂且非独立同分布？
• RQ5 与非序列方法或基于归纳预测鞅的方法相比，该框架在序列监控下是否保持统计有效性？

主要发现

• 该框架能以极小样本量成功检测有害分布偏移，例如在处理少量目标样本后即可识别出误分类风险增加10%的情况。
• 在MNIST-C和CIFAR-10-C基准上，该方法仅对最严重的损坏（如雾霾）触发警报，而忽略危害较小的损坏，证明其能有效区分良性与有害偏移。
• 时间一致置信序列的使用确保了在持续监控下误报率得到控制，而与之相比，非序列检验会因错误率膨胀而失效。
• 该框架保持了高统计功效，并在使用较低误差阈值（如β = 0.05）构建预测集时，比标准方法更早检测到风险增加。
• 在协变量偏移模拟中，该方法正确识别出在源分布上训练的逻辑回归模型因特征分布不匹配而在目标分布上失效，仅在少数样本后即触发警报。
• 预测集的平均大小随数据损坏程度增加而上升，反映出不确定性增加，但该框架对最严重损坏仍能拒绝原假设（无风险增加），证实其对有害偏移具有高度敏感性。