[论文解读] Understanding and Mitigating Accuracy Disparity in Regression

Jianfeng Chi, Yuan Tian+2 more|arXiv (Cornell University)|Feb 24, 2021

Machine Learning and Data Classification参考文献 40被引用 5

一句话总结

本论文提出了一套理论框架与算法方法，以缓解回归模型在不同人口子群体间的准确性差异。通过引入一个误差分解定理，将差异归因于边际标签分布与条件表示之间的差异，作者设计了两种基于总变差与Wasserstein距离的分布对齐算法，在五个基准数据集上展示了有效降低差异性，同时保持预测性能。

ABSTRACT

With the widespread deployment of large-scale prediction systems in high-stakes domains, e.g., face recognition, criminal justice, etc., disparity in prediction accuracy between different demographic subgroups has called for fundamental understanding on the source of such disparity and algorithmic intervention to mitigate it. In this paper, we study the accuracy disparity problem in regression. To begin with, we first propose an error decomposition theorem, which decomposes the accuracy disparity into the distance between marginal label distributions and the distance between conditional representations, to help explain why such accuracy disparity appears in practice. Motivated by this error decomposition and the general idea of distribution alignment with statistical distances, we then propose an algorithm to reduce this disparity, and analyze its game-theoretic optima of the proposed objective functions. To corroborate our theoretical findings, we also conduct experiments on five benchmark datasets. The experimental results suggest that our proposed algorithms can effectively mitigate accuracy disparity while maintaining the predictive power of the regression models.

研究动机与目标

• 理解回归模型在不同人口群体间出现准确性差异的根本原因。
• 形式化描述在边际标签分布或条件表示在不同群体间存在差异时，准确性差异在回归中出现的条件。
• 开发能够缓解准确性差异同时保持模型预测性能的算法干预方法。
• 对所提出的公平感知回归优化目标进行博弈论分析。
• 在真实世界基准数据集上实证验证所提方法的有效性。

提出的方法

• 提出一个误差分解定理，将准确性差异分解为两个部分：边际标签分布之间的距离，以及条件表示之间的距离。
• 引入两种公平感知回归算法：CENet（使用总变差距离）与WassersteinNet（使用Wasserstein距离），用于联合分布对齐。
• 采用极小化极大优化框架，平衡全局回归损失与公平性目标，通过超参数控制公平性预算。
• 分析所提目标函数的博弈论最优解，以理解在公平性约束下模型的均衡行为。
• 使用公平性权衡参数ε控制准确性差异的上界，实现对公平性与性能权衡的系统性消融分析。
• 将方法应用于五个基准数据集（包括Adult、COMPAS、Crime、Law与Insurance），评估指标为R²分数与误差差距指标。

实验结果

研究问题

• RQ1 回归模型在不同人口子群体间出现准确性差异的根本来源是什么？
• RQ2 准确性差异能否被正式分解为与数据分布相关的可度量分量？
• RQ3 使用统计距离（TV与Wasserstein）进行联合分布对齐，能否有效降低回归中的准确性差异？
• RQ4 在所提出的框架中，公平性与预测性能之间的权衡关系如何？
• RQ5 在多样化数据集上，所提算法与基线方法在公平性与模型准确性方面相比如何？

主要发现

• 误差分解定理表明，即使模型最小化全局损失，当不同人口群体的边际标签分布或条件表示存在差异时，准确性差异仍会显现。
• CENet与WassersteinNet在所有五个基准数据集上均成功降低了准确性差异，同时保持或略微提升了R²分数。
• 在Adult数据集上，所提方法在ε=0.1时实现更低的误差差距（ΔErr=0.0612），且R²分数高于竞争方法。
• 在COMPAS数据集上，采用CoD方法时，误差差距降低至0.0085，R²为0.1146，展现出强劲的公平性-性能权衡。
• 训练动态显示，即使在极小化极大优化不稳定的情况下，所提模型仍收敛至误差差距小于标准MSE最小化基线（No Debias）的解。
• 随着公平性预算ε减小，R²分数与误差差距均下降，证实更严格的公平性约束可降低差异性，尽管存在收益递减现象。