[论文解读] Fairkit, Fairkit, on the Wall, Who's the Fairest of Them All? Supporting Data Scientists in Training Fair Models

Brittany Johnson, Jesse Bartola+5 more|arXiv (Cornell University)|Dec 17, 2020

Ethics and Social Impacts of AI参考文献 45被引用 7

一句话总结

Fairkit-learn 是一个开源工具包，帮助数据科学家通过在多种算法、超参数和数据排列组合下评估数千种模型配置，探索并选择在公平性与准确性之间取得平衡的机器学习模型。在一项用户研究中，使用该工具的学生所构建的模型，其公平性最高提升了 67%，准确性最高提升了 10%，优于使用 scikit-learn 或 IBM AI Fairness 360 训练的模型。

ABSTRACT

Modern software relies heavily on data and machine learning, and affects decisions that shape our world. Unfortunately, recent studies have shown that because of biases in data, software systems frequently inject bias into their decisions, from producing better closed caption transcriptions of men's voices than of women's voices to overcharging people of color for financial loans. To address bias in machine learning, data scientists need tools that help them understand the trade-offs between model quality and fairness in their specific data domains. Toward that end, we present fairkit-learn, a toolkit for helping data scientists reason about and understand fairness. Fairkit-learn works with state-of-the-art machine learning tools and uses the same interfaces to ease adoption. It can evaluate thousands of models produced by multiple machine learning algorithms, hyperparameters, and data permutations, and compute and visualize a small Pareto-optimal set of models that describe the optimal trade-offs between fairness and quality. We evaluate fairkit-learn via a user study with 54 students, showing that students using fairkit-learn produce models that provide a better balance between fairness and quality than students using scikit-learn and IBM AI Fairness 360 toolkits. With fairkit-learn, users can select models that are up to 67% more fair and 10% more accurate than the models they are likely to train with scikit-learn.

研究动机与目标

• 解决当前缺乏帮助数据科学家理解真实世界机器学习应用中公平性-质量权衡的工具的问题。
• 支持数据科学家在无统一公平性定义的多样化数据领域中，选择在公平性与性能之间实现最优平衡的模型。
• 提供一个易于使用、可互操作的工具包，可与现有机器学习工作流（如 scikit-learn）无缝集成，并支持帕累托最优模型集的可视化。
• 减少仅以准确性作为公平性代理指标的依赖，因为这种做法在存在偏见的数据中往往会错误地反映公平性结果。
• 为数据科学家提供统一接口，支持多种公平性定义与度量，以实现对模型公平性的审计、调试与推理。

提出的方法

• Fairkit-learn 使用多种学习算法（例如，逻辑回归、随机森林、对抗性去偏）在不同超参数和数据排列组合下训练并评估数千个模型。
• 对每种配置计算公平性度量（例如，人口均等性、机会均等性）和模型质量度量（例如，准确率、F1 值）。
• 识别出代表公平性与质量之间最佳权衡的帕累托最优模型集合，并通过可视化供用户理解。
• 该工具包采用标准的 scikit-learn 风格接口，确保与现有机器学习流水线和工作流无缝集成。
• 支持多种公平性定义，并允许用户根据领域特定的公平性标准和性能度量对比不同模型。
• 通过交互式可视化，帮助用户探索公平性-质量的权衡格局，从而选择同时满足公平性与性能目标的模型。

实验结果

研究问题

• RQ1 在缺乏专用工具的情况下，数据科学家当前如何评估公平性？他们默认使用哪些度量指标？
• RQ2 与 scikit-learn 或 IBM AI Fairness 360 等标准工具相比，像 fairkit-learn 这样的工具在模型选择中能在多大程度上改善公平性与准确性的平衡？
• RQ3 通过使用公平性感知评估系统性探索模型配置，是否能产生显著更公平且更准确的模型，相比标准实践下的选择？
• RQ4 fairkit-learn 在帮助用户识别代表公平性与模型质量之间最优权衡的帕累托最优模型方面，效果如何？
• RQ5 公平性-质量权衡的可视化在多大程度上支持了数据科学家的决策过程？

主要发现

• 在一项包含 54 名学生的受控用户研究中，使用 fairkit-learn 的学生所构建的模型，其公平性最高比使用 scikit-learn 训练的模型高出 67%。
• 使用 fairkit-learn 的学生所构建的模型，其准确性最高比使用 scikit-learn 的模型高出 10%，表明在公平性与性能之间实现了更好的平衡。
• fairkit-learn 的用户在模型选择过程中显著更可能考虑公平性度量，从而减少了对准确性作为公平性代理指标的过度依赖。
• 该工具包成功识别出一组数量少但可操作的帕累托最优模型，这些模型代表了在多样化数据集上公平性与质量之间的最佳权衡。
• fairkit-learn 在帮助用户实现更优的公平性-质量平衡方面，优于 scikit-learn 和 IBM AI Fairness 360，证明了其在真实世界模型选择场景中的有效性。
• 研究发现，若无专用的公平性工具，数据科学家往往默认使用准确性等质量度量，常常忽略公平性问题，凸显了集成公平性支持的必要性。