[论文解读] FairXGBoost: Fairness-aware Classification in XGBoost

Srinivasan Ravichandran, Drona Khurana+2 more|arXiv (Cornell University)|Sep 3, 2020

Ethics and Social Impacts of AI参考文献 15被引用 5

一句话总结

本文提出了 FairXGBoost，这是一种公平性感知的 XGBoost 扩展，通过在树构建过程中直接集成基于正则化的偏差缓解技术，仅需极少的代码修改，实现了最先进的公平性表现——在保持 XGBoost 的可扩展性、透明性和高预测准确性的前提下，与现有方法相比达到或超越其公平性表现。

ABSTRACT

Highly regulated domains such as finance have long favoured the use of machine learning algorithms that are scalable, transparent, robust and yield better performance. One of the most prominent examples of such an algorithm is XGBoost. Meanwhile, there is also a growing interest in building fair and unbiased models in these regulated domains and numerous bias-mitigation algorithms have been proposed to this end. However, most of these bias-mitigation methods are restricted to specific model families such as logistic regression or support vector machine models, thus leaving modelers with a difficult decision of choosing between fairness from the bias-mitigation algorithms and scalability, transparency, performance from algorithms such as XGBoost. We aim to leverage the best of both worlds by proposing a fair variant of XGBoost that enjoys all the advantages of XGBoost, while also matching the levels of fairness from the state-of-the-art bias-mitigation algorithms. Furthermore, the proposed solution requires very little in terms of changes to the original XGBoost library, thus making it easy for adoption. We provide an empirical analysis of our proposed method on standard benchmark datasets used in the fairness community.

研究动机与目标

• 弥合受监管行业中公平性感知机器学习与可扩展、可解释模型（如 XGBoost）之间的差距。
• 开发一种与 XGBoost 的贪心树构建算法兼容的偏差缓解框架，而该算法与大多数现有公平性方法不兼容。
• 在保持高模型性能的同时实现强公平性度量（例如，差异影响 ≥ 80%），且无需依赖复杂的对抗性训练。
• 通过最小修改将 XGBoost 的优势与公平性保证相结合，实现金融和医疗等领域的实际应用。
• 提供即插即用的解决方案，允许建模者通过单一超参数（μ）控制公平性-准确性权衡，而无需从头开始重新训练。

提出的方法

• 将公平性正则化项引入 XGBoost 的目标函数，根据敏感群体间结果差异对模型预测进行惩罚。
• 推导正则化目标函数的修正梯度与 Hessian 值，以保持与 XGBoost 二阶梯度提升框架的兼容性。
• 在树构建过程中直接将公平性正则化器集成到分裂评估流程中，确保过程内公平性优化。
• 采用可微分、连续的正则化器，使端到端优化能够在 XGBoost 现有训练流程中实现。
• 通过超参数 μ 控制公平性与准确性的权衡，该参数用于调节公平性惩罚的强度。
• 利用 XGBoost 原生支持的评估指标，实现实时监控训练过程中的公平性-准确性权衡。

实验结果

研究问题

• RQ1 是否能够有效将公平性感知的正则化技术集成到 XGBoost 的树构建过程中，而不破坏其核心优化框架？
• RQ2 与最先进的公平性方法相比，所提出的 FairXGBoost 方法在公平性（例如，差异影响）和预测准确性方面表现如何？
• RQ3 FairXGBoost 在保持高模型性能的同时，能否在多种基准数据集上实现可接受的公平性水平（例如，DI ≥ 80%）？
• RQ4 公平性超参数 μ 的选择在实践中如何影响公平性与准确性的平衡？
• RQ5 该方法是否适用于原始 XGBoost 模型已表现出低偏差的数据集？其在这些情况下的表现如何？

主要发现

• 在除 Adult 数据集外的所有数据集上，FairXGBoost 在实现相当或更优公平性的同时，相比 (Grari et al., 2019)、(Zhang et al., 2018) 和 (Kamishima et al., 2012) 的方法，准确率下降更少。
• 在 Adult 数据集上，由于原始 XGBoost 模型已具有较低的公平性，FairXGBoost 需要 μ ∈ [0.6, 0.7] 才能达到 DI ≥ 0.8，表明其权衡成本更高。
• 在 COMPAS 数据集上，FairXGBoost 在较低的 μ 值（μ ∈ [0.2, 0.5]）下即实现了可接受的公平性（DI ≥ 0.8），表明其在该数据集上效率更高。
• 在 Bank 和 Default 数据集上，原始 XGBoost 模型已满足 DI ≥ 0.8 的阈值，而 FairXGBoost 在不降低性能的前提下维持了该水平。
• 该方法可通过 μ 实现细粒度的公平性控制，每个 μ 值下均选择最大准确率模型，为建模者提供了实用的权衡曲线。
• 该框架与 XGBoost 的原生评估跟踪兼容，支持在训练过程中实时监控公平性-准确性权衡。