[论文解读] Fairlearn: Assessing and Improving Fairness of AI Systems

Hilde Weerts, Miroslav Dudı́k+4 more|arXiv (Cornell University)|Mar 29, 2023

Ethics and Social Impacts of AI被引用 49

一句话总结

Fairlearn 是一个开源的 Python 库及其配套资源，用于评估 AI 公平性并通过预处理、在训练中处理和后处理方法来缓解公平性问题，以及社会技术学习材料。

ABSTRACT

Fairlearn is an open source project to help practitioners assess and improve fairness of artificial intelligence (AI) systems. The associated Python library, also named fairlearn, supports evaluation of a model's output across affected populations and includes several algorithms for mitigating fairness issues. Grounded in the understanding that fairness is a sociotechnical challenge, the project integrates learning resources that aid practitioners in considering a system's broader societal context.

研究动机与目标

• 提供一个实用工具，在受影响人群中评估与公平性相关的危害。
• 实现基于敏感特征定义的群组对性能指标的分解评估。
• 提供通用的缓解策略（预处理、在训练阶段处理和后处理），围绕标准机器学习模型进行封装。
• 整合社会技术学习资源，以将公平性置于社会影响的背景中。

提出的方法

• 介绍 MetricFrame 类，通过将度量函数与真标签、预测值和敏感特征组合来进行分解评估。
• 提供基于 MetricFrame 工作流派生的公平性指标，如 demographic_parity_difference 和 equalized_odds_difference。
• 通过模型性能和公平性指标的可视化工具支持对多模型的比较。
• 描述三种缓解类别（预处理、在训练阶段处理、后处理），并举例说明代表性算法（如 CorrelationRemover、ExponentiatedGradient、Adversarial 模型、ThresholdOptimizer）。
• 确保 API 与 scikit-learn 约定的兼容性，并将标准公平/不公平算法封装为通用的元算法。

实验结果

研究问题

• RQ1 实践者如何通过分解评估量化并比较跨人口群体的公平性相关危害？
• RQ2 Fairlearn 提供哪些工具和指标来评估 demographic_parity 和 equalized_odds 在 AI 预测中的表现？
• RQ3 在模型开发的不同阶段（预处理、在训练中、后处理）可以应用哪些缓解策略来在保持性能的同时改善公平性？
• RQ4 Fairlearn 如何促进在公平性评估中对社会技术背景的学习与理解？
• RQ5 Fairlearn 如何与现有的 ML 库集成，以便从业者进行实际应用？

主要发现

• Fairlearn 提供了 MetricFrame 工具，用于在群体间执行分解指标并通过差异或比值进行比较。
• 它提供源自 MetricFrame 工作流的公平性指标，如 demographic_parity_difference 和 equalized_odds_difference。
• 该库支持使用将总体性能与公平性指标相关联的图形来比较模型。
• 描述了多种缓解方法，包括 CorrelationRemover（预处理）、ExponentiatedGradient 和 Adversarial 方法（在训练中）、以及 ThresholdOptimizer（后处理）。
• 学习资源和数据集随库提供，帮助从业者了解公平性的社会技术方面。