[论文解读] Evaluating Model Robustness and Stability to Dataset Shift

Adarsh Subbaswamy, Roy J. Adams+1 more|arXiv (Cornell University)|Oct 28, 2020

Machine Learning in Healthcare参考文献 46被引用 24

一句话总结

本文提出了一种数据驱动的框架，用于在无需收集新数据的情况下评估机器学习模型对数据集偏移的鲁棒性。它使用去偏估计量来识别在用户定义的条件偏移（如保持患者人口统计特征不变的同时临床实践发生变化）下的最坏情况子群体，从而在医疗等高风险领域实现主动的安全评估。

ABSTRACT

As the use of machine learning in high impact domains becomes widespread, the importance of evaluating safety has increased. An important aspect of this is evaluating how robust a model is to changes in setting or population, which typically requires applying the model to multiple, independent datasets. Since the cost of collecting such datasets is often prohibitive, in this paper, we propose a framework for analyzing this type of stability using the available data. We use the original evaluation data to determine distributions under which the algorithm performs poorly, and estimate the algorithm's performance on the "worst-case" distribution. We consider shifts in user defined conditional distributions, allowing some distributions to shift while keeping other portions of the data distribution fixed. For example, in a healthcare context, this allows us to consider shifts in clinical practice while keeping the patient population fixed. To address the challenges associated with estimation in complex, high-dimensional distributions, we derive a "debiased" estimator which maintains $\sqrt{N}$-consistency even when machine learning methods with slower convergence rates are used to estimate the nuisance parameters. In experiments on a real medical risk prediction task, we show this estimator can be used to analyze stability and accounts for realistic shifts that could not previously be expressed. The proposed framework allows practitioners to proactively evaluate the safety of their models without requiring additional data collection.

研究动机与目标

• 为解决在医疗和金融等高影响力领域中对机器学习模型主动安全评估的迫切需求。
• 在不收集昂贵新数据集的情况下实现对数据集偏移的鲁棒性评估。
• 在保持底层总体分布不变的前提下，对细粒度偏移（如临床决策方式的变化）进行建模和评估。
• 开发一种统计一致的估计量，即使在对干扰参数的估计速率较慢时也能保持 √N 收敛性。
• 为从业者提供一种工具，可在模型部署前识别出不安全的部署条件。

提出的方法

• 构建了一种分布鲁棒优化（DRO）框架，基于用户指定的数据分布中的条件偏移来定义不确定性集。
• 引入了一种“去偏”估计量，以确保在使用收敛速率较慢的机器学习模型估计干扰参数时，性能估计仍保持 √N 一致性。
• 利用原始评估数据集，通过在保持分布其他部分固定的条件下优化条件分布的偏移，推断出最坏情况的子群体。
• 将该框架应用于真实世界的医疗风险预测任务，评估在临床相关偏移（如检查项目排序模式变化）下的稳定性。
• 采用半参数估计方法，将模型条件损失的估计与干扰参数的估计分离，从而降低最坏情况性能估计中的偏差。
• 支持灵活指定偏移类型，例如 P(检查项目 | 年龄, 病史)，从而将临床实践变化与患者群体变化分离开来。

实验结果

研究问题

• RQ1 如何在不收集新数据的情况下评估机器学习模型对数据集偏移的鲁棒性？
• RQ2 哪些类型的条件偏移（如临床实践变化）可以使用现有数据进行有意义的建模和评估？
• RQ3 当使用收敛速度较慢的机器学习方法估计干扰参数时，去偏估计量是否仍能保持统计一致性？
• RQ4 所提出的框架如何识别给定偏移下的最坏情况子群体，这类子群体具有哪些特征？
• RQ5 该方法在多大程度上能够检测到可能导致模型在部署中失效的现实、政策相关偏移？

主要发现

• 所提出的去偏估计量即使在使用收敛速率较慢的机器学习模型估计干扰参数时，仍能保持 √N 一致性。
• 该框架成功识别出在条件偏移（如检查项目排序变化）下的最坏情况子群体，这些子群体具有临床意义，且此前无法通过标准偏移形式表达。
• 在一个真实的医疗风险预测任务中，该方法检测到在临床实践发生变化时出现显著的性能下降，即使患者人口统计特征保持不变。
• 该方法能够识别出模型性能下降的具体子群体，从而支持针对性的模型优化或数据收集。
• 该方法考虑了现实的、由政策驱动的偏移，如不同医院间检查项目排序的差异，这对医疗领域中的安全部署至关重要。
• 该框架支持主动安全评估，使从业者能够在无需额外数据收集的情况下，提前预测模型的失效模式。