[论文解读] Evaluating Model Performance Under Worst-case Subpopulations

Mike Li, Mittal, Daksh+2 more|arXiv (Cornell University)|Jul 1, 2024

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文在给定大小的所有子群体上定义并估计最坏情形的子群体表现，提供一种去偏且可扩展的评估方法，并具有有限样本保证。

ABSTRACT

The performance of ML models degrades when the training population is different from that seen under operation. Towards assessing distributional robustness, we study the worst-case performance of a model over all subpopulations of a given size, defined with respect to core attributes Z. This notion of robustness can consider arbitrary (continuous) attributes Z, and automatically accounts for complex intersectionality in disadvantaged groups. We develop a scalable yet principled two-stage estimation procedure that can evaluate the robustness of state-of-the-art models. We prove that our procedure enjoys several finite-sample convergence guarantees, including dimension-free convergence. Instead of overly conservative notions based on Rademacher complexities, our evaluation error depends on the dimension of Z only through the out-of-sample error in estimating the performance conditional on Z. On real datasets, we demonstrate that our method certifies the robustness of a model and prevents deployment of unreliable models.

研究动机与目标

• 激发在任意 Z 定义的子群体上，针对分布转移的情境，对机器学习模型进行鲁棒评估。
• 定义最坏情形子群体性能 W_alpha* 及其部署安全性证明 alpha*。
• 开发一个可扩展的两阶段估计过程，以近似条件风险与尾部风险目标。
• 提供相对于 Z 的维度无关的有限样本与渐近保证，从而能够使用深度网络来估计 mu。

提出的方法

• 将最坏情形子群体性能 W_alpha* 表述为条件风险 mu*(Z) 的尾部平均值（CVaR）。
• 应用对偶重构，将 W_alpha* 表述为对标量 eta 及一个正项的最小化；并将其与 mu*(Z) 的 (1-alpha) 分位数相关。
• 通过在辅助数据上对模型族 H 求解回归型问题来估计条件风险 mu*(Z)。
• 使用去偏（增强）估计量，纠正估计 mu*(Z) 相对于最终 W_alpha* 计算的一阶误差。
• 采用跨拟合（cross-fitting）结合多个折叠，获得稳健、数据高效的估计量，并具备中心极限定理。
• 提供估计鲁棒性证明 alpha* 及其置信区间的程序。

实验结果

研究问题

• RQ1 如何量化并在任意子群体定义 Z 下对最坏情形子群体表现进行认证？
• RQ2 我们能否构建一个可扩展、去偏的尾部风险目标 W_alpha* 的估计量，以实现有利的有限样本保证？
• RQ3 收敛速度是多少，以及它们如何依赖于条件风险模型族 H 的复杂性？
• RQ4 如何通过阈值 alpha* 来证明鲁棒性，指示可接受性能所需的最小子群体规模？

主要发现

• 一个去偏的两阶段估计量在最坏情形子群体表现上的收敛速率为 O_p(sqrt(Comp_n(H)/n))。
• 该方法存在一个维度无关的集中不等式界限，其中界限依赖于估计 mu*(Z) 的样本外误差。
• 中心极限定理表明去偏估计量在 mû 收敛慢时也具有 sqrt(n) 速率。
• 该方法将最坏情形子群体表现与条件值-at-风险和一致性风险度量联系起来。
• 该方法学支持实际的鲁棒性证明 alpha*，并使得使用深度网络进行 mu 估计的模型评估成为可能。