[论文解读] Adaptive Sampling to Reduce Disparate Performance

Jacob Abernethy, Pranjal Awasthi+3 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms参考文献 38被引用 11

一句话总结

本文提出自适应采样方法，通过在训练过程中动态优先采样表现较差的群体数据，以减少机器学习分类器在不同人口群体中的性能差异。通过持续从最不利的群体中采样，该方法在最小化数据收集开销的前提下，实现了理论分析与真实世界评估中各群体间性能的均衡，包括弗林特饮用水危机数据集。

ABSTRACT

Existing methods for reducing disparate performance of a classifier across different demographic groups assume that one has access to a large data set, thereby focusing on the algorithmic aspect of optimizing overall performance subject to additional constraints. However, poor data collection and imbalanced data sets can severely affect the quality of these methods. In this work, we consider a setting where data collection and optimization are performed simultaneously. In such a scenario, a natural strategy to mitigate the performance difference of the classifier is to provide additional training data drawn from the demographic groups that are worse off. In this paper, we propose to consistently follow this strategy throughout the whole training process and to guide the resulting classifier towards equal performance on the different groups by adaptively sampling each data point from the group that is currently disadvantaged. We provide a rigorous theoretical analysis of our approach in a simplified one-dimensional setting and an extensive experimental evaluation on numerous real-world data sets, including a case study on the data collected during the Flint water crisis.

研究动机与目标

• 解决由于数据不平衡或质量差导致的机器学习分类器在不同人口群体中性能差异的问题。
• 开发一种实时整合数据收集与模型优化的方法，而非假设可获得大规模且平衡的数据集。
• 通过自适应地从当前处于劣势的人口群体中采样，引导训练过程实现各群体间性能的均衡。
• 提供一种理论上有依据且经实证验证的公平性改进方法，通过动态数据采样实现。

提出的方法

• 该方法自适应地从当前分类器性能最低的人口群体中采样数据点。
• 采样概率在训练过程中根据各群体的特定性能指标实时调整。
• 在简化的单维设定下进行理论分析，以建立收敛性和公平性保障。
• 在多个真实世界数据集上评估该方法，包括对弗林特饮用水危机数据的案例研究，以证明其实际有效性。
• 在整个训练过程中监控各群体的性能，并偏向采样表现较差的群体，以纠正性能差异。

实验结果

研究问题

• RQ1 在训练过程中采用自适应采样是否能在不依赖大规模预存数据集的前提下，减少不同人口群体间的性能差异？
• RQ2 动态优先处理表现较差群体对整体公平性和模型准确率有何影响？
• RQ3 在简化且受控的设定下，自适应采样能提供哪些理论保障？
• RQ4 该方法在具有固有数据不平衡特征的真实世界数据集上的表现如何？

主要发现

• 自适应采样方法在合成数据和真实世界数据中均显著减少了不同人口群体之间的性能差异。
• 在弗林特饮用水危机的案例研究中，该方法实现了在不同人口特征社区间更均衡的预测性能。
• 在一维设定下的理论分析证实，在较弱假设下该方法可收敛至公平解。
• 实证结果表明，该方法在多个基准数据集上持续提升了公平性度量，且未牺牲整体模型准确率。