[论文解读] fairlib: A Unified Framework for Assessing and Improving Classification Fairness

Xudong Han, Aili Shen+4 more|arXiv (Cornell University)|May 4, 2022

Statistical and Computational Modeling被引用 8

一句话总结

fairlib 是一个基于 PyTorch 的开源框架，统一了自然语言处理、计算机视觉和语音任务中分类模型的公平性评估与去偏方法。它支持 14 种去偏方法、标准化的公平性度量指标以及交互式可视化功能，通过系统性的超参数调优，实现了可复现的基准测试，并在性能上优于原始结果。

ABSTRACT

This paper presents fairlib, an open-source framework for assessing and improving classification fairness. It provides a systematic framework for quickly reproducing existing baseline models, developing new methods, evaluating models with different metrics, and visualizing their results. Its modularity and extensibility enable the framework to be used for diverse types of inputs, including natural language, images, and audio. In detail, we implement 14 debiasing methods, including pre-processing, at-training-time, and post-processing approaches. The built-in metrics cover the most commonly used fairness criterion and can be further generalized and customized for fairness evaluation.

研究动机与目标

• 为解决公平性研究中因训练策略和模型选择不一致而导致的可复现性不足问题。
• 提供一个统一、模块化且可扩展的框架，用于在多种模态（文本、图像、语音）的分类模型中评估和提升公平性。
• 通过标准化的度量指标和可视化工具（包括性能-公平性权衡图和 LaTeX 表格生成），支持去偏方法的系统性比较。
• 通过一致的超参数调优和检查点管理，使研究人员能够复现并改进现有去偏结果。
• 通过支持现代深度学习框架（如 PyTorch）和 GPU 加速，将公平性工具链的适用范围扩展至基于 scikit-learn 的框架之外。

提出的方法

• 该框架基于 PyTorch 构建，为集成新模型、数据集和去偏方法提供模块化接口。
• 在三个类别中实现了 14 种去偏方法：预处理（如 BD、CB、JB、BTEO）、训练过程中（如 Adv、EAdv、DAdv、AAdv、ADAdv、Gate、FairBatch、FairSCL、EO CLA）和后处理（如 INLP、Gate^soft）。
• 支持多种公平性标准，包括人口统计均等、机会均等、机会平等和充分性，并通过标准化的 GAP 计算进行性能差距评估。
• 框架内置了生成 LaTeX 表格和交互式性能-公平性权衡图的工具，用于在不同超参数下比较模型表现。
• 通过保存模型检查点和配置文件，确保可复现性，完整记录所有超参数和训练设置。
• 支持内置和自定义数据集，实现新任务和新模态的即插即用式集成。

实验结果

研究问题

• RQ1 统一框架能否提升在多样化 NLP 和视觉模型中公平性基准测试的可复现性？
• RQ2 在多个数据集上，不同去偏方法在性能-公平性权衡方面如何比较？
• RQ3 在统一框架中系统性地调优超参数，能在多大程度上超越公平性文献中原始报告的结果？
• RQ4 该框架的可扩展性如何支持新去偏方法和新数据模态的集成？
• RQ5 现有公平性工具包（如 AIF360 和 FairLearn）在支持现代深度学习架构方面存在哪些局限性？fairlib 如何克服这些局限？

主要发现

• fairlib 成功复现了近期 NLP 文献中一系列去偏结果，通过更优的超参数调优，实现了优于原始报告结果的性能表现。
• 在 Moji 数据集上，随着权衡超参数的增加，ADAdv 在公平性-准确率权衡中优于其他方法，实现了更优的公平性，且性能下降不明显。
• 在 Bios 数据集上，BTEO 是唯一一种在保持或略微提升性能的同时改善公平性的方法，优于标准模型。
• 在 Bios 数据集上，EO CLA 实现了最佳的公平性-准确率平衡，在相近性能水平下优于其他方法。
• INLP 在 Moji 上表现较差，但在 Bios 上成为合理的选择，凸显了方法在不同数据集上的适用性差异。
• 该框架的可视化工具（包括帕累托模型选择和交互式图表）使模型比较更加全面和系统化，优于仅依赖基础度量指标的比较方式。