[论文解读] FairGBM: Gradient Boosting with Fairness Constraints

André F. Cruz, Catarina Belém+4 more|arXiv (Cornell University)|Sep 16, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

FairGBM 是一种新颖的内处理框架，用于在公平性约束下训练梯度提升决策树（GBDT），通过可微分代理约束和代理拉格朗日公式化方法实现基于梯度的优化。它在性能损失最小的情况下实现了最先进水平的公平性，且训练速度比以往方法快达10倍。

ABSTRACT

Tabular data is prevalent in many high-stakes domains, such as financial services or public policy. Gradient Boosted Decision Trees (GBDT) are popular in these settings due to their scalability, performance, and low training cost. While fairness in these domains is a foremost concern, existing in-processing Fair ML methods are either incompatible with GBDT, or incur in significant performance losses while taking considerably longer to train. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we propose smooth convex error rate proxies for common fairness criteria, enabling gradient-based optimization using a ``proxy-Lagrangian'' formulation. Our implementation shows an order of magnitude speedup in training time relative to related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.

研究动机与目标

• 解决高风险表格数据应用中 GBDT 模型缺乏高效内处理公平性约束的问题。
• 在强制执行公平性约束的同时保持高预测性能，避免现有方法中常见的性能下降。
• 实现在受 imbalanced 设置影响的现实部署中至关重要的特定 ROC 点（如固定假正例率）下的公平性约束训练。
• 开发一种与标准 GBDT 训练流程兼容的框架，避免额外模型或内存密集型迭代。
• 为欺诈检测和医疗保健等关键任务系统提供可扩展、可投入生产的公平性解决方案。

提出的方法

• 采用代理拉格朗日公式化方法，通过使用平滑、凸的代理约束替代不可微分的公平性度量，实现基于梯度的优化。
• 在 GBDT 训练循环内应用拉格朗日乘子法，将公平性建模为两阶段博弈：最小化预测损失 vs. 最大化公平性约束违反。
• 为公平性标准（如相等机会和人口均等）使用可微分代理，支持通过约束项进行反向传播。
• 通过模型输出对损失的梯度，将公平性约束直接集成到 GBDT 提升过程中，避免外部模型训练或内存密集型存储。
• 支持在 ROC 曲线的特定点（如固定假正例率）上强制执行约束，实现基于业务特定阈值的部署。
• 利用对偶上升框架联合优化模型准确率与公平性，且在代理拉格朗日公式化下保证收敛。

实验结果

研究问题

• RQ1 是否可以在不牺牲预测性能的前提下，有效将公平性约束集成到 GBDT 训练中？
• RQ2 不可微分的公平性度量是否可通过可微分代理在梯度提升框架中实现优化？
• RQ3 所提出的代理拉格朗日公式化方法是否比现有 GBDT 内处理公平性方法训练更快？
• RQ4 是否可以使用 GBDT 在 ROC 曲线的特定工作点（如固定 FPR）上强制执行公平性？
• RQ5 该方法是否可在欺诈检测等真实世界高风险应用中以最小训练开销进行部署？

主要发现

• FairGBM 在基准数据集上实现最先进水平的公平性表现，与无约束 GBDT 相比预测性能下降不足1%。
• 与以往 GBDT 的内处理公平性方法（如 Fairlearn 的 EG 框架）相比，该方法将训练时间减少了一个数量级。
• FairGBM 有效实现了在特定 ROC 点上的公平性约束，支持在固定预算或假正例率约束下的部署。
• 代理拉格朗日公式化方法即使在不可微分公平性度量下也能保证收敛至随机均衡，理论已证明。
• 在五个公开公平性基准数据集和一个真实的账户开户欺诈案例研究中，FairGBM 在公平性-性能权衡方面持续优于最先进内处理基线方法。
• 该框架已具备生产就绪能力，与标准 GBDT 流程兼容，支持连续评分函数，对实际部署至关重要。