[论文解读] Does enforcing fairness mitigate biases caused by subpopulation shift?

Subha Maity, Debarghya Mukherjee+2 more|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 6

一句话总结

本文研究在训练过程中通过风险平价强制实现算法公平性是否能缓解由子群体偏移引起的性能差异。研究发现，公平性强制措施对目标域性能的影响取决于偏移结构，可能改善或损害模型表现；并推导出公平性提升泛化能力的精确条件，提供了一项统计标准以评估公平性实践，而不仅限于公平性对齐。

ABSTRACT

Many instances of algorithmic bias are caused by subpopulation shifts. For example, ML models often perform worse on demographic groups that are underrepresented in the training data. In this paper, we study whether enforcing algorithmic fairness during training improves the performance of the trained model in the \emph{target domain}. On one hand, we conceive scenarios in which enforcing fairness does not improve performance in the target domain. In fact, it may even harm performance. On the other hand, we derive necessary and sufficient conditions under which enforcing algorithmic fairness leads to the Bayes model in the target domain. We also illustrate the practical implications of our theoretical results in simulations and on real data.

研究动机与目标

• 研究在训练过程中强制实现算法公平性是否能缓解目标域中由子群体偏移引起的性能差异。
• 识别在分布偏移存在时，公平性强制措施何时能改善或损害模型性能。
• 基于其对目标域性能的影响，提供一种评估公平性实践的统计框架。
• 推导出风险平价在目标分布中提升泛化能力的必要与充分条件。
• 通过模拟和真实数据集（如COMPAS和Adult）验证理论发现。

提出的方法

• 作者引入风险概况作为子群体中模型性能的汇总，以支持在公平性约束下对风险最小化的分析。
• 将子群体偏移分解为与公平性约束正交的可恢复分量和不可恢复分量。
• 理论分析推导出在何种条件下强制实施风险平价可使目标域达到贝叶斯最优模型。
• 该框架适用于离散和连续敏感属性，补充材料中提供了扩展内容。
• 通过模拟和在真实数据集（COMPAS、Adult）上的实验，验证在受控分布偏移下的理论发现。
• 研究采用条件风险平价和性能平价作为公平性约束，评估保护群体间准确率与错误率的差异。

实验结果

研究问题

• RQ1 在子群体偏移下，训练过程中强制实施风险平价在何种条件下能改善目标域的模型性能？
• RQ2 在训练过程中强制实施公平性是否可能实际上恶化目标域的性能，如果是，原因是什么？
• RQ3 数据偏移的何种结构特性决定了公平性强制措施是否能带来泛化能力的提升？
• RQ4 如何评估公平性实践，不仅关注公平性对齐，还关注其在目标分布中是否带来实际性能提升？
• RQ5 为实现公平性提升而推导出的理论条件在具有复杂分布偏移的真实数据中在多大程度上成立？

主要发现

• 在训练过程中强制实施风险平价并不能保证目标域性能的提升；当偏移结构不利时，甚至可能损害整体性能。
• 推导出公平性强制措施使目标域达到贝叶斯最优模型的理论条件，为有效公平性提供精确标准。
• 在COMPAS数据集中，公平分类器在无偏目标分布 $P^{*}$ 上的准确率为0.652，优于基线的0.634，验证了理论在实践中的有效性。
• 在同一数据集中，基线在有偏训练分布 $\widetilde{P}$ 上表现更优（0.668 vs. 0.660），证实了有偏与无偏性能之间的权衡。
• 研究表明，仅当偏移是可恢复且与公平性约束正交时，公平性强制措施才能在目标域中提升性能，如定理4.3所形式化。
• 结果表明，公平性实践应基于其对目标域性能的影响进行评估，而不仅限于训练数据中的公平性对齐，从而为公平性选择提供了统计依据。