[论文解读] An Empirical Study of Modular Bias Mitigators and Ensembles

Michael Feffer, Martin Hirzel+4 more|arXiv (Cornell University)|Feb 1, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种模块化框架，通过一个开源库将10种偏差缓解方法与4种集成方法相结合，以提升机器学习中的公平性与稳定性。在13个数据集上的实证评估表明，集成方法——尤其是堆叠和提升——能增强公平性度量的稳定性，最优配置取决于数据集大小和初始公平性水平，从而为实践者提供了指导图示。

ABSTRACT

There are several bias mitigators that can reduce algorithmic bias in machine learning models but, unfortunately, the effect of mitigators on fairness is often not stable when measured across different data splits. A popular approach to train more stable models is ensemble learning. Ensembles, such as bagging, boosting, voting, or stacking, have been successful at making predictive performance more stable. One might therefore ask whether we can combine the advantages of bias mitigators and ensembles? To explore this question, we first need bias mitigators and ensembles to work together. We built an open-source library enabling the modular composition of 10 mitigators, 4 ensembles, and their corresponding hyperparameters. Based on this library, we empirically explored the space of combinations on 13 datasets, including datasets commonly used in fairness literature plus datasets newly curated by our library. Furthermore, we distilled the results into a guidance diagram for practitioners. We hope this paper will contribute towards improving stability in bias mitigation.

研究动机与目标

• 解决偏差缓解中公平性度量的不稳定性问题，尤其是在代表性不足群体数据稀缺的情况下。
• 探究集成方法是否能像稳定准确率一样，稳定公平性度量。
• 开发一个模块化、可组合的开源库，支持系统性地组合偏差缓解方法与集成方法，以支持实证研究。
• 基于数据集特征和公平性目标，提供选择最优缓解方法与集成方法组合的数据驱动指导。

提出的方法

• 构建了一个开源库（Lale），支持基于AIF360的10种偏差缓解方法与基于scikit-learn的4种集成方法的模块化组合，且具有统一接口。
• 在13个数据集上开展实证评估，包括标准公平性基准数据集和新整理的数据集，使用标准化结果和差异影响、统计独立性指标的波动性来衡量公平性。
• 采用标准化指标（SDO、SDV、SSO、SSV）比较不同配置下的公平性表现与稳定性，包括集成层与估计器层的偏差缓解方式。
• 基于数据集大小（>8,000行）和基线不公平性（DI < 0.49）构建四象限框架，对结果进行分组并识别最优配置。
• 通过筛选每个数据集在结果与波动性指标中排名前33%的结果，按象限与模型配置聚合，生成决策指导图（图6）。

实验结果

研究问题

• RQ1 模块化集成能否提升机器学习模型中公平性度量的稳定性？
• RQ2 不同类型的集成方法（如袋装、提升、投票、堆叠）与各类偏差缓解方法的交互如何影响公平性结果？
• RQ3 在不同数据集中，哪些集成与缓解方法的组合能实现最稳定且有利的公平性表现？
• RQ4 数据集大小与基线公平性如何影响集成与缓解方法组合的最优选择？
• RQ5 基于数据的指导图能否帮助实践者为新的公平性关键应用场景选择有效的集成与缓解方法组合？

主要发现

• 集成方法，尤其是堆叠和提升，显著降低了公平性度量的波动性——例如，在一个数据集中，堆叠配合通过传递与最终缓解，SDV降至0.229。
• 采用基学习器缓解与通过传递的堆叠配置，在所有配置中实现了最高的标准化差异影响结果（SDO = 0.832）与最低的波动性（SDV = 0.515）。
• 对于大且不公平的数据集，使用估计器内缓解的提升方法取得了最佳公平性结果，SDO为0.803，SDV为0.642。
• 对于小且不公平的数据集，采用通过传递的堆叠配合事后缓解是最优方案，实现了较高的SDO（0.670）与较低的SDV（0.506）。
• 指导图（图6）识别出情境依赖的最优配置，表明在所有数据集与度量中，没有单一组合能普遍优于其他组合。
• 即使公平性提升显著，最优配置仍高度依赖于数据集大小与初始公平性，凸显了情境感知选择的必要性。