[论文解读] Certifying Some Distributional Fairness with Subpopulation Decomposition

Mintong Kang, Linyi Li+4 more|arXiv (Cornell University)|May 31, 2022

Health Systems, Economic Evaluations, Quality of Life被引用 4

一句话总结

该论文提出了一种新颖的框架，通过在训练分布的 Hellinger 距离范围内，对公平性约束分布上的预测损失进行边界限定，从而实现对机器学习模型端到端公平性的认证。该框架利用子群体分解和凸优化方法，计算在基础率约束下模型损失的紧致、认证上界，其结果在六组真实世界数据集上均优于现有的分布鲁棒性方法，且在敏感性和一般性分布偏移下均验证了其有效性。

ABSTRACT

Extensive efforts have been made to understand and improve the fairness of machine learning models based on observational metrics, especially in high-stakes domains such as medical insurance, education, and hiring decisions. However, there is a lack of certified fairness considering the end-to-end performance of an ML model. In this paper, we first formulate the certified fairness of an ML model trained on a given data distribution as an optimization problem based on the model performance loss bound on a fairness constrained distribution, which is within bounded distributional distance with the training distribution. We then propose a general fairness certification framework and instantiate it for both sensitive shifting and general shifting scenarios. In particular, we propose to solve the optimization problem by decomposing the original data distribution into analytical subpopulations and proving the convexity of the subproblems to solve them. We evaluate our certified fairness on six real-world datasets and show that our certification is tight in the sensitive shifting scenario and provides non-trivial certification under general shifting. Our framework is flexible to integrate additional non-skewness constraints and we show that it provides even tighter certification under different real-world scenarios. We also compare our certified fairness bound with adapted existing distributional robustness bounds on Gaussian data and demonstrate that our method is significantly tighter.

研究动机与目标

• 定义并计算端到端机器学习模型的认证公平性，确保在公平性约束测试分布下的最坏情况性能边界。
• 解决高风险机器学习应用中缺乏认证公平性的问题，尤其是在训练数据可能包含偏差或分布偏移的情况下。
• 提供一种灵活的框架，可整合公平性约束（如基础率条件），并支持额外的非偏移性约束。
• 通过引入公平性约束改进现有分布鲁棒性边界，实现更紧致的认证。
• 在敏感性和一般性分布偏移下，验证该框架的紧致性和实际可用性。

提出的方法

• 将认证公平性形式化为一个约束优化问题：在与训练分布具有有界 Hellinger 距离的公平性约束分布上，最小化最坏情况下的预测损失。
• 基于敏感属性和标签将训练分布和测试分布分解为子群体，以编码基础率公平性约束。
• 证明在敏感属性偏移场景下，所得低维优化问题的凸性，从而可通过凸优化高效求解。
• 在一般性偏移场景下采用分而治之策略，将可行空间划分为子区域，并求解具有已证明凸性的松弛子问题。
• 使用 Hellinger 距离作为差异度量，以限制分布偏移，从而实现对任意黑箱模型的泛化。
• 整合额外的非偏移性约束（针对标签或敏感属性），以进一步收紧公平性认证结果。

实验结果

研究问题

• RQ1 我们能否在有界分布偏移范围内，定义并计算在公平性约束下模型预测损失的认证上界？
• RQ2 子群体分解如何在敏感性和一般性分布偏移下实现凸优化与紧致公平性认证？
• RQ3 在标签或敏感属性上整合非偏移性约束是否能提升公平性认证的紧致性？
• RQ4 在相同条件下，该框架的认证紧致性与现有分布鲁棒性边界相比如何？
• RQ5 该公平性认证是否可作为真实世界数据集中实际模型公平性的可靠指标？

主要发现

• 所提出的框架在整合公平性约束时，其公平性认证结果显著优于现有分布鲁棒性边界。
• 在敏感性偏移场景下，认证结果紧致且一致地界定了所有测试的 Hellinger 距离水平下的最坏情况损失。
• 在一般性偏移场景下，该框架提供了非平凡的、随分布偏移增加而逐步上升的损失上界。
• 在标签或敏感属性上增加非偏移性约束，可在所有评估数据集中获得更紧致的公平性认证结果。
• 公平性认证与实际模型公平性高度相关：在 Adult、Compas、Health 和 Law School 数据集中，完全公平的模型始终表现出比不公平（基线）模型更低的认证损失。
• 在 Adult 数据集中，基线模型在一般性偏移下的认证损失从 ρ=0.1 时的 0.274 上升至 ρ=0.5 时的 0.828，而公平模型的损失从 0.266 上升至 0.824，表明认证结果能反映相对公平水平。