[論文レビュー] FairGBM: Gradient Boosting with Fairness Constraints

André F. Cruz, Catarina Belém+4 more|arXiv (Cornell University)|Sep 16, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

FairGBM は、微分可能代理制約と代理ラグランジュ形式を用いて勾配ベース最適化を可能にする、勾配ブースティング意思決定木（GBDT）のための新しいインプロセッシングフレームワークであり、公平性制約下で学習を行う。性能の低下を最小限に抑え、かつ先行手法と比較して最大10倍速い学習速度を達成し、最先端の公平性を実現する。

ABSTRACT

Tabular data is prevalent in many high-stakes domains, such as financial services or public policy. Gradient Boosted Decision Trees (GBDT) are popular in these settings due to their scalability, performance, and low training cost. While fairness in these domains is a foremost concern, existing in-processing Fair ML methods are either incompatible with GBDT, or incur in significant performance losses while taking considerably longer to train. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we propose smooth convex error rate proxies for common fairness criteria, enabling gradient-based optimization using a ``proxy-Lagrangian'' formulation. Our implementation shows an order of magnitude speedup in training time relative to related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.

研究の動機と目的

• 高リスクの表形式データ応用分野におけるGBDTモデルに対する効率的でインプロセッシングの公平性制約の不足を解消すること。
• 既存手法で一般的な性能低下を回避しつつ、高い予測性能を維持しながら公平性制約を適用すること。
• 不均衡な設定下での実世界の展開に不可欠な、特定のROC曲線上の点（例：固定された偽陽性率）における学習を可能にすること。
• 追加のモデルやメモリ集約的な反復処理を必要としない、標準GBDTトレーニングパイプラインと互換性を持つフレームワークを開発すること。
• 不正検知や医療分野などミッションクリティカルなシステムにおけるスケーラブルで生産環境対応の公平性ソリューションを提供すること。

提案手法

• 非微分可能な公平性指標を滑らかで凸な代理制約に置き換えることで、微分可能代理ラグランジュ形式を用いて、非微分可能な公平性指標の勾配ベース最適化を可能にする。
• GBDTトレーニングループ内にラグランジュ乗数法を適用し、公平性を二つのプレーヤーのゲームとして定式化する：予測損失の最小化 対 偽装制約違反の最大化。
• 等しい機会やデモグラフィックパラメータの平等といった公平性基準のための微分可能プロキシを採用し、制約項に対してバックプロパゲーションを可能にする。
• モデル出力に関する損失の勾配を用いて、公平性制約をGBDTブースティングプロセスに直接統合し、外部モデルの学習やメモリ集約的な保存を回避する。
• ROC曲線上の特定の点（例：固定された偽陽性率）における制約強制を可能にし、ビジネス要件に応じたしきい値下での展開を可能にする。
• 双対上昇フレームワークを活用して、モデルの正確性と公平性を同時に最適化し、プロキシラグランジュ形式のもとで収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 予測性能の低下を伴わずに、GBDT学習に公平性制約を効果的に統合できるか？
• RQ2 非微分可能な公平性指標を、勾配ブースティングフレームワーク内で微分可能なプロキシで最適化できるか？
• RQ3 提案されたプロキシラグランジュ形式は、既存のGBDT用インプロセッシング公平性手法と比較して、より高速な学習を可能にするか？
• RQ4 GBDTを用いて、特定のROC曲線上の作動点（例：固定されたFPR）における公平性を強制できるか？
• RQ5 不正検知のような実世界の高リスク応用分野に、最小限のトレーニングオーバーヘッドで展開可能か？

主な発見

• FairGBM は、ベンチマークデータセットにおいて、制約なしGBDTと比較して性能低下が1%未満で、最先端の公平性性能を達成した。
• Fairlearn の EG フレームワークを含む、先行するGBDT用インプロセッシング公平性手法と比較して、学習時間を1桁短縮した。
• FairGBM は、特定のROC曲線上の点における公平性制約の強制に成功し、固定された予算や偽陽性率制約下での展開を可能にした。
• 理論的に証明されたように、プロキシラグランジュ形式は、非微分可能な公平性指標に対しても、確率的均衡に収束することを可能にした。
• 5つの公開公平性ベンチマークデータセットおよび実世界の口座開設不正検知事例において、FairGBM は、公平性と性能のトレードオフにおいて、最先端のインプロセッシングベースラインを一貫して上回った。
• フレームワークは生産環境対応であり、標準GBDTパイプラインと互換性があり、運用展開に不可欠な連続的スコア関数をサポートする。