[论文解读] Distributionally Robust Losses for Latent Covariate Mixtures

John C. Duchi, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Jul 28, 2020

Topic Modeling被引用 6

一句话总结

本文提出了一种分布鲁棒优化框架，即使在未知子群体身份的情况下，也能最小化异质数据集中潜在子群体的最坏情况期望损失。通过在由最小比例阈值定义的一组合理少数子群体上构建凸优化问题，该方法确保了所有足够大的子群体中性能的均匀性，并提供了有限样本下的收敛保证。

ABSTRACT

While modern large-scale datasets often consist of heterogeneous subpopulations -- for example, multiple demographic groups or multiple text corpora -- the standard practice of minimizing average loss fails to guarantee uniformly low losses across all subpopulations. We propose a convex procedure that controls the worst-case performance over all subpopulations of a given size. Our procedure comes with finite-sample (nonparametric) convergence guarantees on the worst-off subpopulation. Empirically, we observe on lexical similarity, wine quality, and recidivism prediction tasks that our worst-case procedure learns models that do well against unseen subpopulations.

研究动机与目标

• 解决在标准平均损失最小化倾向于偏好简单样本的异质数据集中，少数或困难子群体表现不佳的问题。
• 开发一种方法，确保在给定最小大小的所有子群体中损失均匀偏低，且无需显式知晓子群体身份。
• 为潜在协变量偏移下最坏情况子群体性能提供有限样本、非参数收敛保证。
• 在因隐私或监管限制而无法获取人口统计或敏感信息的场景中实现鲁棒性。
• 推广至分布偏移仅限于部分协变量（如视觉任务中的地理位置）的情形。

提出的方法

• 将分布鲁棒优化（DRO）问题公式化为：在所有比例至少为 α₀ 的子群体中最小化最坏情况期望损失。
• 将可行子群体集合定义为在最小比例 α₀ 下可能构成混合模型中少数成分的所有子群体。
• 使用DRO问题的对偶形式，将其与给定X的条件损失的条件风险价值（CVaR）联系起来。
• 通过利普希茨连续性和有界性条件对权重函数施加结构约束，以确保有限样本下的控制。
• 推导出涉及权重函数约束对偶变量的对偶优化问题，从而实现可计算性。
• 采用原始-对偶分析，结合雷米奇复杂度与覆盖数论证，推导出最坏情况风险的有限样本界。

实验结果

研究问题

• RQ1 我们能否设计一种凸优化过程，即使在子群体身份未知的情况下，也能保证在所有给定最小大小的子群体中损失均匀偏低？
• RQ2 在无法获取人口统计或敏感属性的情况下，如何实现对潜在协变量偏移的分布鲁棒性？
• RQ3 在混合模型设定下，最坏情况子群体性能的有限样本收敛保证是什么？
• RQ4 与标准平均损失最小化相比，该方法在应对未见子群体时的鲁棒性如何？
• RQ5 该框架能否适应仅对部分协变量（如图像数据中的地理位置）的偏移进行控制？

主要发现

• 所提方法为最坏情况子群体风险提供了有限样本收敛保证，确保了所有足够大子群体的性能均匀。
• 在词汇相似性、葡萄酒质量与再犯预测任务上的实证结果表明，该方法学习到的模型能很好地泛化到未见子群体。
• DRO问题的对偶公式对应于一种CVaR型目标，将该方法与已建立的鲁棒优化原则联系起来。
• 即使在缺乏敏感属性的情况下，该方法依然有效，使其适用于隐私受限的应用场景。
• 理论分析表明，最坏情况风险界与覆盖数及函数类的复杂度成比例，提供了非渐近控制。
• 该方法对混杂因素和协变量偏移具有鲁棒性，因为它显式考虑了X边缘分布中的潜在混合成分。