[论文解读] Diagnosing Model Performance Under Distribution Shift

Tiffany Tiffany, Hongseok Namkoong+1 more|arXiv (Cornell University)|Mar 3, 2023

Artificial Intelligence in Healthcare被引用 5

一句话总结

本文提出DIstribution Shift DEcomposition（DISDE），一种诊断框架，可将机器学习模型在分布偏移下的性能退化分解为三个组成部分：共享协变量空间中困难样本频率的增加、标签-特征关系（$Y\mid X$）的变化，以及对罕见或未见协变量的泛化能力差。该方法通过二元域分类器定义共享分布，以隔离并量化这些贡献，从而在实际部署场景中实现针对性的模型改进。

ABSTRACT

Prediction models can perform poorly when deployed to target distributions different from the training distribution. To understand these operational failure modes, we develop a method, called DIstribution Shift DEcomposition (DISDE), to attribute a drop in performance to different types of distribution shifts. Our approach decomposes the performance drop into terms for 1) an increase in harder but frequently seen examples from training, 2) changes in the relationship between features and outcomes, and 3) poor performance on examples infrequent or unseen during training. These terms are defined by fixing a distribution on $X$ while varying the conditional distribution of $Y \mid X$ between training and target, or by fixing the conditional distribution of $Y \mid X$ while varying the distribution on $X$. In order to do this, we define a hypothetical distribution on $X$ consisting of values common in both training and target, over which it is easy to compare $Y \mid X$ and thus predictive performance. We estimate performance on this hypothetical distribution via reweighting methods. Empirically, we show how our method can 1) inform potential modeling improvements across distribution shifts for employment prediction on tabular census data, and 2) help to explain why certain domain adaptation methods fail to improve model performance for satellite image classification.

研究动机与目标

• 诊断机器学习模型在分布偏移下部署时性能退化的根本原因。
• 将性能下降分解为与数据分布和模型行为变化相关的独立、可解释的组成部分。
• 通过将故障模式归因于特定类型的分布偏移（如协变量偏移或概念漂移），指导模型改进。
• 提供一种可扩展的诊断工具，超越检测功能，解释性能下降的*原因*，支持更优的干预决策。
• 建立一个系统化的框架，用于评估和提升模型在训练、部署和运行分布下的可靠性。

提出的方法

• 通过二元域分类器估计成员资格，定义训练和目标分布之间共有的协变量$X$的共享分布$S_X$。
• 相对于共享分布估计性能退化，并将其分解为三个部分：(1) 共享分布$S_X$中困难样本频率的增加，(2) $S_X$上$Y\mid X$关系的偏移，(3) 对罕见或未见$X$值的性能差。
• 采用类似于因果推断中倾向得分的加权方案定义共享支持，确保对重叠区域模型性能的稳定估计。
• 在真实世界数据集上应用该分解方法，包括用于就业预测的表格人口普查数据和卫星图像分类任务，以验证诊断效用。
• 在共享分布下使用经验风险最小化来估计三个分解项，损失函数表示为$\mathbb{E}[\ell(f(X), Y)]$。
• 使用基准数据集验证该框架，并与现有的领域自适应和鲁棒性方法进行比较，以展示其诊断价值。

实验结果

研究问题

• RQ1 性能退化在多大程度上源于共享协变量空间中困难样本频率的变化？
• RQ2 性能下降中有多少可归因于共享分布上$Y\mid X$条件关系的偏移？
• RQ3 有多少性能退化源于对训练期间罕见或未见的协变量值的泛化能力差？
• RQ4 该分解框架能否识别出领域自适应或其他方法可能失败的情况及其原因？
• RQ5 该诊断如何指导针对性的模型改进，而非通用的微调或重加权？

主要发现

• DISDE成功将表格人口普查数据中就业预测的性能退化归因于困难样本频率增加和$Y\mid X$关系变化的组合，指导了特征工程和重加权策略。
• 在卫星图像分类任务中，DISDE解释了为何某些领域自适应方法会失败：主要退化源于$Y\mid X$的偏移，而非协变量偏移，表明仅针对$X$偏移的适应方法是不够的。
• 该框架识别出性能下降通常主要由标签-特征关系（$Y\mid X$）的变化主导，而非边缘协变量偏移，这挑战了许多现有自适应方法的假设。
• 分解结果表明，相当大一部分性能退化发生在罕见或未见的协变量值上，凸显了在有限或有偏数据上训练的模型的局限性。
• 实证结果表明，DISDE提供了可操作的洞察：干预措施应根据主导的故障模式定制，例如针对$Y\mid X$偏移采用因果建模，或针对分布外泛化问题加强数据收集。
• 该方法表明，仅检测性能退化的现有监控系统是不足的，缺乏诊断归因；DISDE填补了这一空白，实现了根本原因分析。