[论文解读] FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods

Xiaotian Han, Jianfeng Chi+5 more|arXiv (Cornell University)|Jun 15, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了FFB，一个用于评估机器学习中处理组公平性方法的标准化、开源基准。它统一了14个数据集和45,079次实验中的数据集预处理、公平性度量和训练流程，揭示了关键发现，例如HSIC方法在效用-公平性权衡上表现最佳，而对抗性去偏方法则表现出不稳定性。

ABSTRACT

This paper introduces the Fair Fairness Benchmark ( extsf{FFB}), a benchmarking framework for in-processing group fairness methods. Ensuring fairness in machine learning is important for ethical compliance. However, there exist challenges in comparing and developing fairness methods due to inconsistencies in experimental settings, lack of accessible algorithmic implementations, and limited extensibility of current fairness packages and tools. To address these issues, we introduce an open-source standardized benchmark for evaluating in-processing group fairness methods and provide a comprehensive analysis of state-of-the-art methods to ensure different notions of group fairness. This work offers the following key contributions: the provision of flexible, extensible, minimalistic, and research-oriented open-source code; the establishment of unified fairness method benchmarking pipelines; and extensive benchmarking, which yields key insights from $\mathbf{45,079}$ experiments, $\mathbf{14,428}$ GPU hours. We believe that our work will significantly facilitate the growth and development of the fairness research community.

研究动机与目标

• 为解决因实验设置、数据集预处理方式不一致以及缺乏可访问实现而导致的公平性基准不一致问题。
• 提供一个统一、可扩展且轻量级的开源框架，用于评估处理组公平性方法。
• 实现对多样化数据集和度量标准下最先进公平性算法的公平且可复现的比较。
• 提供对不同模型架构和超参数下公平性-效用权衡及方法稳定性的全面实证分析。
• 通过标准化预处理、评估和实现方式，为研究人员和实践者提供支持。

提出的方法

• 设计一种模块化、类似PyTorch的训练流程，将公平性算法实现与评估逻辑解耦。
• 对14个广泛使用的公平性数据集进行标准化预处理，包括包含两个敏感属性的数据集，以确保比较的一致性。
• 实现一套全面的9种组公平性度量和6种效用度量，用于统一评估。
• 在14个数据集中对6种公平性方法和15种不同的神经网络架构进行基准测试，参数量范围为1160万至1.269亿。
• 使用基于学习率衰减的统一训练循环，评估稳定性和收敛性。
• 提供开源代码，包含完整的训练日志和参考实现，以确保可复现性和可扩展性。

实验结果

研究问题

• RQ1 广泛使用的公平性数据集是否在不同模型和训练运行中始终表现出公平性问题？
• RQ2 在不同公平性方法和数据集中，效用-公平性权衡的性质和程度如何？
• RQ3 训练过程中公平性性能曲线的稳定性如何，哪些方法表现出最大不稳定性？
• RQ4 模型架构在多大程度上影响公平性表现，偏差主要由数据还是模型容量驱动？
• RQ5 基于学习率衰减的早停策略是否能有效改善去偏方法中的公平性-效用平衡？

主要发现

• 并非所有广泛使用的公平性数据集在不同模型和训练运行中都能稳定表现出公平性问题，这挑战了关于数据集偏差一致性的假设。
• 所有评估的公平性方法中均存在明显的效用-公平性权衡，证实了公平性缓解中的根本性矛盾。
• HSIC（希尔伯特-施密特独立性准则）方法在整体效用-公平性权衡上表现最佳，优于更流行的基线方法。
• 对抗性去偏方法在训练过程中表现出显著的公平性性能不稳定性，提示其在可靠性方面可能存在局限。
• 效用训练曲线稳定，而公平性曲线不稳定，表明公平性优化对训练动态更为敏感。
• 当学习率降至阈值以下时停止训练，是一种有效提升公平性-效用平衡的实际策略。