[论文解读] Estimating and Explaining Model Performance When Both Covariates and Labels Shift

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Sep 18, 2022

Anomaly Detection Techniques and Applications被引用 9

一句话总结

本文提出稀疏联合偏移（SJS），一种联合考虑协变量与标签偏移的分布偏移模型，可在无标签数据上实现准确的性能估计。该文进一步提出SJE框架，基于SJS模型估计模型性能并解释偏移贡献，显著降低了多种真实世界数据集上现有方法的偏移估计误差。

ABSTRACT

Deployed machine learning (ML) models often encounter new user data that differs from their training data. Therefore, estimating how well a given model might perform on the new data is an important step toward reliable ML applications. This is very challenging, however, as the data distribution can change in flexible ways, and we may not have any labels on the new data, which is often the case in monitoring settings. In this paper, we propose a new distribution shift model, Sparse Joint Shift (SJS), which considers the joint shift of both labels and a few features. This unifies and generalizes several existing shift models including label shift and sparse covariate shift, where only marginal feature or label distribution shifts are considered. We describe mathematical conditions under which SJS is identifiable. We further propose SEES, an algorithmic framework to characterize the distribution shift under SJS and to estimate a model's performance on new data without any labels. We conduct extensive experiments on several real-world datasets with various ML models. Across different datasets and distribution shifts, SEES achieves significant (up to an order of magnitude) shift estimation error improvements over existing approaches.

研究动机与目标

• 解决在新数据标签不可用时，对特征与标签中联合分布偏移下模型性能估计的挑战。
• 开发一个统一模型，捕捉联合偏移的同时，保持未偏移特征的边缘分布不变。
• 实现在测试数据无标签情况下的可靠性能估计与偏移效应归因，这对真实世界机器学习监控至关重要。
• 将现有偏移模型——标签偏移与稀疏协变量偏移——泛化为单一、更具灵活性的框架。
• 在具有不同偏移类型的多样化真实世界数据集上，实证验证该方法的有效性。

提出的方法

• 提出稀疏联合偏移（SJS）模型，假设仅一小部分特征与标签发生偏移，其余变量在给定已偏移变量的条件下保持条件独立。
• 推导出在何种可识别性条件下，联合分布偏移可由未偏移特征与标签的边缘分布唯一确定。
• 引入SJE（偏移估计与解释）框架，利用SJS作为结构假设，估计无标签数据上的模型性能。
• 采用基于似然的优化方法，估计偏移参数与模型性能指标，无需目标数据的标签。
• 应用分解方法，将性能变化归因于各个偏移因素（如标签偏移与特征偏移），实现对模型性能下降的解释。
• 使用基于SJS模型导出的约束条件的期望风险最小化，以确保估计的一致性与鲁棒性。

实验结果

研究问题

• RQ1 当特征与标签均发生偏移时，能否在无标签数据上准确估计模型性能？
• RQ2 如何识别并量化标签偏移与特征偏移对整体性能下降的贡献？
• RQ3 在现实假设下，SJS模型是否可识别，特别是当仅一小部分特征与标签发生偏移时？
• RQ4 当同时存在标签偏移与协变量偏移时，SJE是否能优于现有方法，降低偏移估计误差？
• RQ5 该框架如何解释不同偏移分量对模型性能的相对影响？

主要发现

• SJE在多个真实世界数据集上相较现有方法显著降低了偏移估计误差，最高可达一个数量级。
• 该方法成功识别出性能下降的主要来源，能以高保真度区分标签偏移与特征偏移的贡献。
• 在SJS假设下，当未偏移特征弱相关时，模型具有可识别性，可唯一恢复联合偏移分布。
• 实证评估表明，SJE在标签与特征同时发生复杂偏移的数据集（包括医学影像与人口统计偏移场景）上优于基线方法。
• 该框架可在无标签数据上实现可靠的性能估计，适用于实时模型监控与部署。
• SJE提供可解释的性能变化归因，使实践者能够诊断并解决生产环境中特定的偏移源。