[论文解读] Model-Agnostic Characterization of Fairness Trade-offs

Joon Sik Kim, Jiahao Chen+1 more|arXiv (Cornell University)|Apr 7, 2020

Ethics and Social Impacts of AI被引用 1

一句话总结

本文提出了一种模型无关的诊断框架，利用公平性-混淆张量系统地分析群体公平性概念与模型准确率之间的权衡。通过在该张量上构建优化问题，该方法揭示了公平性准则之间的不相容性，并实现了公平分类器的后处理，已在合成数据集和真实世界数据集上得到有效验证。

ABSTRACT

Group fairness, a class of fairness notions that measure how different groups of individuals are treated differently according to their protected attributes, has been shown to conflict with one another, often with a necessary cost in loss of model's predictive performance. We propose a general diagnostic that enables systematic characterization of these trade-offs in group fairness. We observe that the majority of group fairness notions can be expressed via the fairness-confusion tensor, which is the confusion matrix split according to the protected attribute values. We frame several optimization problems that directly optimize both accuracy and fairness objectives over the elements of this tensor, which yield a general perspective for understanding multiple trade-offs including group fairness incompatibilities. It also suggests an alternate post-processing method for designing fair classifiers. On synthetic and real datasets, we demonstrate the use cases of our diagnostic, particularly on understanding the trade-off landscape between accuracy and fairness.

研究动机与目标

• 为解决群体公平性概念之间的冲突所导致的模型预测性能下降问题。
• 开发一种通用的诊断工具，系统表征不同公平性准则下公平性与准确率之间的权衡。
• 通过共享的张量表示，提供一个统一框架以理解群体公平性概念之间的不相容性。
• 基于权衡图谱的洞察，通过后处理实现公平分类器的设计。

提出的方法

• 通过按受保护属性取值划分混淆矩阵，利用公平性-混淆张量表示公平性权衡。
• 利用张量元素构建联合最大化准确率并最小化多种公平性准则下违规行为的优化问题。
• 通过分析公平性-混淆张量的结构，推导出对公平性不相容性的普遍视角。
• 提出一种基于优化张量结构的替代后处理方法，用于公平分类。
• 将该框架应用于合成数据集和真实世界数据集，以评估权衡图谱。

实验结果

研究问题

• RQ1 如何系统地诊断和可视化多个群体公平性概念之间的公平性权衡？
• RQ2 常见的群体公平性准则之间存在何种不相容性？它们如何影响模型准确率？
• RQ3 公平性-混淆张量在多大程度上能够统一多样公平性目标的分析？
• RQ4 所提出的优化框架在实践中能否实现更优的公平性-准确率权衡？
• RQ5 从诊断中导出的后处理方法在生成公平分类器方面的有效性如何？

主要发现

• 公平性-混淆张量有效捕捉并统一了多个群体公平性概念，实现了公平性与准确率的联合分析。
• 该框架揭示了公平性准则之间固有的不相容性，例如在优化准确率时，人口统计均等与机会均等之间仍存在不相容。
• 在公平性-混淆张量上进行优化，可在不显著损失准确率的情况下，提升多个公平性度量的表现。
• 基于该框架导出的后处理方法在真实世界数据集上实现了具有竞争力的公平性结果，同时保持了模型的实用性。
• 在合成数据集和真实数据集上的实证评估证实了该诊断方法在可视化和理解复杂公平性权衡图谱方面的有效性。