[论文解读] FACT: A Diagnostic for Group Fairness Trade-offs

Joon Sik Kim, Jiahao Chen+1 more|arXiv (Cornell University)|Apr 7, 2020

Ethics and Social Impacts of AI参考文献 28被引用 12

一句话总结

本文提出 FACT（公平性-混淆张量），一种诊断框架，通过将公平性概念表示为公平性-混淆张量的线性或二次函数，来建模群体公平性之间的权衡——该张量通过沿保护属性拆分混淆矩阵而得到。该方法通过 PFOP、LAFOP 和 MS-LAFOP 实现准确率与公平性的系统性优化，揭示了其中的不相容性，并指导后处理以实现更优的公平性-准确率权衡，已在合成数据集和真实数据集（包括 Adult）上得到验证。

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

研究动机与目标

• 为解决缺乏通用框架来诊断多个群体公平性概念与模型性能之间权衡的问题。
• 通过统一的张量表示，形式化公平性定义与混淆矩阵之间的关系。
• 利用凸优化实现对公平性-准确率权衡的模型无关与模型特定分析。
• 提供一种诊断工具，在模型训练前识别公平性约束之间的固有不相容性。
• 开发一种后处理方法，用于公平分类器，以最小化性能损失并满足公平性约束。

提出的方法

• 通过沿保护属性轴分割标准混淆矩阵，构建公平性-混淆张量，实现对性能与公平性的联合建模。
• 大多数群体公平性定义（如人口均等、机会均等差异）可表示为张量元素的线性或二次函数。
• 将性能-公平性最优问题（PFOP）表述为对张量元素的约束优化问题，而非模型参数。
• 提出两种具体实现：LAFOP（最小二乘准确率-公平性最优问题）和 MS-LAFOP（模型特定 LAFOP），分别用于模型无关与模型特定分析。
• 通过凸优化计算帕累托前沿，可视化多种公平性概念下的公平性-准确率权衡。
• 通过从 MS-LAFOP 解中推导混合率，实现后处理，可应用于任意预训练分类器，以在最小准确率损失下提升公平性。

实验结果

研究问题

• RQ1 能否通过统一的张量表示，在一个通用框架中表达多种群体公平性概念？
• RQ2 不同公平性约束之间如何相互作用？它们之间是否存在固有的不相容性？
• RQ3 在模型训练前，公平性-准确率权衡在多大程度上可被诊断与优化？
• RQ4 FACT 诊断能否指导后处理，实现优于现有方法的公平性-准确率平衡？
• RQ5 不同公平性概念对模型性能及其他公平性条件的相对影响如何？

主要发现

• 公平性-混淆张量成功将大多数群体公平性概念表示为线性或二次函数，从而实现系统性优化。
• FACT 揭示了公平性-公平性之间的不相容性是固有的，并可利用张量框架在模型训练前进行诊断。
• 在 Adult 数据集上，FACT 解的公平性差距显著小于 Hardt 等人（2016）提出的 EOd 解，同时保持了具有竞争力的准确率。
• 模型特定的 FACT 帕累托前沿（MS-LAFOP）提供了比模型无关前沿更紧致、更现实的公平性-准确率权衡边界。
• 该诊断方法可实现优于现有方法的后处理，减少权衡而不牺牲预测性能。
• 该框架可推广至任意数量的公平性约束，并可扩展至其他性能指标（如精确率或召回率）。