[论文解读] FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions

Sebastian Schelter, Yuxuan He+2 more|arXiv (Cornell University)|Nov 28, 2019

Ethics and Social Impacts of AI参考文献 34被引用 21

一句话总结

FairPrep 是一个以开发者为中心的框架，通过支持对超参数调优、特征缩放和数据插补等干预措施进行系统性评估，将数据预处理提升为增强公平性的机器学习中的首要任务。它表明，不同研究中公平性结果的可变性通常源于超参数调优不足和数据清洗不充分，而非模型本身固有的不稳定性。

ABSTRACT

The importance of incorporating ethics and legal compliance into machine-assisted decision-making is broadly recognized. Further, several lines of recent work have argued that critical opportunities for improving data quality and representativeness, controlling for bias, and allowing humans to oversee and impact computational processes are missed if we do not consider the lifecycle stages upstream from model training and deployment. Yet, very little has been done to date to provide system-level support to data scientists who wish to develop and deploy responsible machine learning methods. We aim to fill this gap and present FairPrep, a design and evaluation framework for fairness-enhancing interventions. FairPrep is based on a developer-centered design, and helps data scientists follow best practices in software engineering and machine learning. As part of our contribution, we identify shortcomings in existing empirical studies for analyzing fairness-enhancing interventions. We then show how FairPrep can be used to measure the impact of sound best practices, such as hyperparameter tuning and feature scaling. In particular, our results suggest that the high variability of the outcomes of fairness-enhancing interventions observed in previous studies is often an artifact of a lack of hyperparameter tuning. Further, we show that the choice of a data cleaning method can impact the effectiveness of fairness-enhancing interventions.

研究动机与目标

• 解决数据科学家在开发负责任的机器学习系统时缺乏系统级支持的问题。
• 识别现有关于公平性增强干预措施的实证研究中的缺陷，特别是由于实验设计不佳导致的结果不一致问题。
• 将数据预处理（如插补和特征缩放）作为公平性评估中的关键、首要阶段加以推广。
• 在遵循软件工程和机器学习最佳实践的前提下，支持低门槛、可自定义的公平性实验配置。
• 通过可扩展的模块化组件和未来的可视化功能，支持技术与非技术用户对公平性的分析。

提出的方法

• 设计一个基于开发者中心方法的模块化、可扩展框架，将公平性干预措施集成到端到端的机器学习流水线中。
• 集成标准的数据预处理技术，包括缺失值插补（例如，Datawig）、特征缩放，以及通过 k 折交叉验证进行的超参数调优。
• 使用标准的机器学习库（例如，scikit-learn）支持模型选择和验证，并提供可配置的超参数网格。
• 支持测试数据的隔离，确保正确的评估协议，防止数据泄露。
• 提供结构化的工作流，使用户能够比较不同预处理和调优策略下的公平性结果。
• 设计框架以支持未来干预措施的扩展，例如分层采样、嵌入表示以及非二分类任务。

实验结果

研究问题

• RQ1 超参数调优在多大程度上影响了实证公平性研究中公平性结果的可变性？
• RQ2 不同的数据插补方法如何影响机器学习模型的公平性和准确性？
• RQ3 数据预处理在缓解不同人口群体间差异性错误率方面发挥什么作用？
• RQ4 一个系统化、基于最佳实践的框架在多大程度上能减少技术债务并提升公平性评估的可重现性？
• RQ5 公平性增强干预措施如何在现实世界机器学习流水线中被模块化组合并由数据科学家自定义？

主要发现

• 先前研究中观察到的公平性结果高度可变，通常是由于超参数调优不足所致，而非模型本身固有的不稳定性。
• 数据插补方法的选择显著影响公平性干预措施的有效性，其中最先进的方法（如 Datawig）比默认的均值插补更能有效降低偏差。
• 特征缩放能够提升模型的泛化能力，并减少不同人口群体间错误率的差异，尤其是在与适当的超参数调优结合时效果更明显。
• 恰当的数据预处理，包括对缺失值的谨慎处理，是实现公平且准确的模型性能的关键。
• FairPrep 支持可重现、模块化且可自定义的公平性干预评估，减少技术债务并提升实验严谨性。
• 该框架表明，公平性并非仅属于模型层面的问题，而是深度受上游数据准备阶段的影响。