[论文解读] Maximum Weighted Loss Discrepancy

Fereshte Khani, Aditi Raghunathan+1 more|arXiv (Cornell University)|Jun 8, 2019

Mathematical Approximation and Integration参考文献 23被引用 6

一句话总结

本文提出了最大加权损失差异（MWLD），一种衡量群体公平性的指标，用于量化群体损失与总体损失之间最坏情况下的加权差异。研究表明，MWLD 可以针对一类衰减加权函数高效估计，与损失方差密切相关，且通过损失方差正则化可将 MWLD 降低高达 50%，同时在四个公平性数据集上模型准确率下降不明显。

ABSTRACT

Though machine learning algorithms excel at minimizing the average loss over a population, this might lead to large discrepancies between the losses across groups within the population. To capture this inequality, we introduce and study a notion we call maximum weighted loss discrepancy (MWLD), the maximum (weighted) difference between the loss of a group and the loss of the population. We relate MWLD to group fairness notions and robustness to demographic shifts. We then show MWLD satisfies the following three properties: 1) It is statistically impossible to estimate MWLD when all groups have equal weights. 2) For a particular family of weighting functions, we can estimate MWLD efficiently. 3) MWLD is related to loss variance, a quantity that arises in generalization bounds. We estimate MWLD with different weighting functions on four common datasets from the fairness literature. We finally show that loss variance regularization can halve the loss variance of a classifier and hence reduce MWLD without suffering a significant drop in accuracy.

研究动机与目标

• 为解决机器学习模型中在缺乏群体信息时不同人口群体间损失差异过大的问题。
• 形式化一种新的公平性度量——最大加权损失差异（MWLD），以捕捉群体损失与总体损失之间最大加权差异。
• 建立 MWLD 的理论性质，包括统计可估计性及其与泛化能力和鲁棒性的关联。
• 开发并验证基于损失方差和粗化损失方差的 MWLD 高效估计与正则化技术。
• 通过实证方法证明，损失方差正则化可降低 MWLD，同时保持或提升模型准确率。

提出的方法

• 提出 MWLD 作为公平性度量，定义为所有群体中群体损失与总体损失之间加权绝对差异的上确界。
• 引入一类衰减加权函数 $ w^k(g) = \mathbb{E}[g]^k $，使得 MWLD 能够从有限样本中实现高效且一致的估计。
• 建立 MWLD 与损失方差之间的理论联系，表明 $ \text{MWLD}(w^{1/2}) $ 可为损失方差提供上下界。
• 提出粗化损失方差（CLV）作为扩展，允许对预定义的敏感属性组合进行正则化，从而提升公平性保障。
• 采用经验风险最小化方法，结合损失方差（LV）和粗化损失方差（CLV）的正则化，训练模型以降低 MWLD。
• 使用网格搜索调优正则化超参数 $ \lambda $，并在四个公平性基准数据集上评估性能。

实验结果

研究问题

• RQ1 MWLD 能否从有限数据中一致估计？在何种条件下可以实现？
• RQ2 MWLD 与泛化能力及鲁棒性（尤其是人口分布变化下）有何关系？
• RQ3 MWLD 与损失方差之间存在何种关系？该关系能否用于正则化？
• RQ4 通过损失方差或粗化损失方差正则化是否能有效降低 MWLD，同时不牺牲模型准确率？
• RQ5 不同加权函数 $ w^k $ 如何影响 MWLD 的收敛性与解释性？

主要发现

• 损失方差正则化可使分类器的损失方差降低高达 50%，显著减少 MWLD，同时对平均准确率影响极小。
• 在目标 MWLD 值相同的情况下，粗化损失方差正则化实现的平均误差更低（0.415），优于标准损失方差正则化（0.45），表明其边界更紧。
• 使用较小 $ k $ 值（如 $ k=0.5 $）时，MWLD 收敛至总体值的速度更慢，且达到最大差异的群体随 $ k $ 减小而缩小。
• 通过粗化损失方差正则化，可为任意敏感属性组合构成的群体提供 MWLD 的保证上界，而不仅限于单一属性群体。
• 在 COMPAS 数据集上，使用 CLV 正则化实现了与最先进方法相当的公平性-准确率权衡，且在 D-FNR 和 D-FPR 等公平性指标上表现更优。
• 在均匀加权（$ w^0 $）下，MWLD 的插件估计器在统计上不一致，但在衰减族 $ w^k $ 下是一致的，从而实现可靠估计。