[论文解读] Active Sampling for Min-Max Fairness

Jacob Abernethy, Pranjal Awasthi+4 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms参考文献 29被引用 6

一句话总结

该论文提出了一种主动采样与重加权策略，通过在每个训练步骤中优先选择表现最差的代表性群体的数据，以实现在机器学习中的最小-最大公平性。对于线性与逻辑回归等凸模型，该方法在算法2中以 $\sim 1/\sqrt{T}$ 的速率（算法3中为 $\sim 1/T$）证明收敛至最小-最大公平解，提供了一种简单、高效且理论基础坚实的公平性提升方法，同时不牺牲整体性能。

ABSTRACT

We propose simple active sampling and reweighting strategies for optimizing min-max fairness that can be applied to any classification or regression model learned via loss minimization. The key intuition behind our approach is to use at each timestep a datapoint from the group that is worst off under the current model for updating the model. The ease of implementation and the generality of our robust formulation make it an attractive option for improving model performance on disadvantaged groups. For convex learning problems, such as linear or logistic regression, we provide a fine-grained analysis, proving the rate of convergence to a min-max fair solution.

研究动机与目标

• 解决由于数据不平衡或任务固有难度导致的模型在不同代表性群体间性能不均的问题。
• 开发一种公平学习框架，通过提升最弱势群体的表现而非降低优势群体的表现来实现公平性。
• 为凸学习问题中的最小-最大公平性提供理论基础坚实、易于实现且具有可证明收敛速率的算法。
• 在真实世界数据集上实证验证该方法，并与现有方法比较其收敛速度与公平性表现。

提出的方法

• 采用基于群体损失感知的主动采样策略，在每次迭代中选择当前损失最高的代表性群体的数据。
• 使用来自最弱势群体的采样点进行随机梯度下降（SGD）更新，确保模型优化优先考虑公平性。
• 提出一种加速变体（算法3），通过自适应重加权优化加权总体损失，提升收敛速度。
• 采用加权总体损失函数 $ v(\theta; D_{\mathbf{q}}) = \sum_{i=1}^g \mathbf{q}(i) \mathbb{E}_{z \sim D_i} \ell(\theta, z) $，其中 $ \mathbf{q} $ 动态更新以突出表现欠佳的群体。
• 采用次梯度方法处理不可微损失函数，在凸性假设下保持理论保证。
• 可选地对历史模型参数进行平均，以提升稳定性和泛化能力。

实验结果

研究问题

• RQ1 在凸学习问题中，从最弱势群体主动采样是否能实现对最小-最大公平解的可证明更快收敛？
• RQ2 与现有最小-最大公平性方法相比，该主动采样方法在迭代次数与计算成本方面的收敛速率如何？
• RQ3 该方法在提升弱势群体公平性的同时，是否仍能保持较强的泛化性能？
• RQ4 该方法能否扩展至非凸模型（如神经网络）而无需理论保证？其在实际中的表现如何？

主要发现

• 算法2在凸学习问题中实现 $ \sim 1/\sqrt{T} $ 的收敛速率，达到最小-最大公平解，并提供了有限样本下的泛化界。
• 算法3通过使用自适应重加权的加速最小-最大梯度下降，收敛速率提升至 $ \sim 1/T $，在收敛速度上优于标准SGD。
• 在COMPAS数据集上，尽管每轮仅执行一次梯度步长（而非完整分类器优化），该方法的每轮收敛速度显著快于Diana等人（2021）的方法。
• 在Diabetes 130-US Hospitals数据集上，算法2在测试性能与公平性指标上与Martinez等人（2020）相当，但在收敛速度与稳定性上优于Diana等人（2021）的方法。
• 在MLP模型与Diabetes数据集的非凸设置下，算法2相比朴素基线方法显著降低了最弱势年龄群体的损失与误差，证明了其在理论之外的实际应用价值。
• 当使用小规模验证集时，该方法表现出近乎瞬时的收敛速度，在早期迭代中显著优于基线方法。