[论文解读] Learning Models with Uniform Performance via Distributionally Robust Optimization

John C. Duchi, Hongseok Namkoong|arXiv (Cornell University)|Oct 19, 2018

Insurance, Mortality, Demography, Risk Management被引用 23

一句话总结

本文提出了一种分布鲁棒优化（DRO）框架，通过使用 f-散度建模扰动，在与经验分布相近的一组分布中最小化最坏情况下的期望损失。该方法确保了在所有子群体和尾部实例上的统一性能，并提供了收敛性、渐近正态性和有限样本边界等理论保证，在细粒度识别和子群体泛化等真实任务中，其公平性和鲁棒性优于标准方法。

ABSTRACT

A common goal in statistics and machine learning is to learn models that can perform well against distributional shifts, such as latent heterogeneous subpopulations, unknown covariate shifts, or unmodeled temporal effects. We develop and analyze a distributionally robust stochastic optimization (DRO) framework that learns a model providing good performance against perturbations to the data-generating distribution. We give a convex formulation for the problem, providing several convergence guarantees. We prove finite-sample minimax upper and lower bounds, showing that distributional robustness sometimes comes at a cost in convergence rates. We give limit theorems for the learned parameters, where we fully specify the limiting distribution so that confidence intervals can be computed. On real tasks including generalizing to unknown subpopulations, fine-grained recognition, and providing good tail performance, the distributionally robust approach often exhibits improved performance.

研究动机与目标

• 解决标准模型在少数子群体和尾部实例上因分布偏移导致的性能下降问题。
• 开发一种鲁棒优化框架，确保在所有输入区域（尤其是困难或代表性不足的情况）的统一性能。
• 为DRO估计器提供有限样本和渐近统计保证，包括收敛速率和极限分布。
• 通过完全刻画极限分布，实现对学习参数的置信区间构建。
• 在真实任务（如细粒度识别和子群体泛化）上实证验证该方法，显示其在尾部性能上的改进。

提出的方法

• 将鲁棒优化问题表述为在以经验分布为中心、f-散度球半径为ρ的所有分布中，最小化最坏情况下的期望损失。
• 利用凸对偶性推导出DRO问题的可计算形式，通过散度生成函数f的共轭函数实现高效计算。
• 在实际中使用经验分布作为插补估计器，近似真实数据生成分布。
• 应用经验过程理论和弱收敛工具，推导估计器的渐近正态性和有限样本边界。
• 推导出DRO估计器一致性和渐近正态性的条件，明确其极限协方差结构。
• 利用括号熵和矩条件，建立经验过程的收敛性，并验证估计器的中心极限定理有效性。

实验结果

研究问题

• RQ1 分布鲁棒优化框架是否能在分布偏移下提升模型在困难或少数子群体实例上的性能？
• RQ2 在有限样本中，DRO估计器的收敛速率与标准经验风险最小化相比如何？
• RQ3 DRO估计器的极限分布是什么？是否可用于构建有效的置信区间？
• RQ4 如何选择f-散度函数f和半径ρ，以控制特定类型的尾部性能？
• RQ5 DRO方法是否在涉及潜在异质性或协变量偏移的真实任务中提供了可度量的性能提升？

主要发现

• DRO框架通过在数据生成分布上施加f-散度扰动，最小化最坏情况损失，实现了所有输入区域的统一性能。
• 有限样本极小化上界和下界表明，与标准ERM相比，分布鲁棒性可能在收敛速率上带来一定代价。
• DRO估计器的极限分布被完全刻画，从而可构建模型参数的有效置信区间。
• 该方法在真实任务（如细粒度识别和子群体泛化）中，对尾部实例和少数子群体表现出改进的性能。
• 理论分析证实，在较弱正则性条件下，DRO估计器具有一致性和渐近正态性，其收敛速率取决于f和ρ的选择。
• 实证结果表明，DRO方法在安全性与公平性至关重要的应用中优于标准模型，尤其在尾部性能方面表现更优。