[論文レビュー] Optimized Score Transformation for Fair Classification

Dennis Wei, Karthikeyan Natesan Ramamurthy+1 more|arXiv (Cornell University)|May 31, 2019

Ethics and Social Impacts of AI参考文献 21被引用数 18

ひとこと要約

本稿では、公平性制約を満たしつつユーティリティ損失を最小化する最適なスコア変換を実現する後処理手法であるFairScoreTransformerを提案する。凸最適化とADMMを用いてスコア変換の閉形式解を導出し、BrierスコアやAUCといったスコアベースの指標で最先端の性能を達成し、有限標本設定において漸近的に最適な性能を示す。

ABSTRACT

This paper considers fair probabilistic classification where the outputs of primary interest are predicted probabilities, commonly referred to as scores. We formulate the problem of transforming scores to satisfy fairness constraints that are linear in conditional means of scores while minimizing the loss in utility. The formulation can be applied either to post-process classifier outputs or to pre-process training data, thus allowing maximum freedom in selecting a classification algorithm. We derive a closed-form expression for the optimal transformed scores and a convex optimization problem for the transformation parameters. In the population limit, the transformed score function is the fairness-constrained minimizer of cross-entropy with respect to the optimal unconstrained scores. In the finite sample setting, we propose to approach this solution using a combination of standard probabilistic classifiers and ADMM. The transformation parameters obtained from the finite-sample procedure are shown to be asymptotically optimal. Comprehensive experiments comparing to 10 existing methods show that the proposed FairScoreTransformer has advantages for score-based metrics such as Brier score and AUC while remaining competitive for binary label-based metrics such as accuracy.

研究の動機と目的

• 分類器のスコアを公平性制約を満たすように変換するが、予測の有効性を損なわない方法を開発すること。
• スコアの条件付き平均に関して線形な変換を最適化することで、公平な確率的分類を可能にすること。
• 後処理の分類器出力および訓練データの前処理の両方に適用可能な柔軟なフレームワークを提供すること。
• 公平性制約の下で交差エントロピー損失を最小化し、公平性と有効性の最適なトレードオフを達成すること。
• 有限標本設定において変換パラメータが漸近的に最適となることを保証すること。

提案手法

• 交差エントロピー損失を最小化する凸最適化問題としてスコア変換を定式化し、公平性制約を満たす。
• 母集団の極限において最適な変換スコアの閉形式解を導出する。
• 有限標本における最適化問題を解くためにADMMを適用し、収束性と実装可能性を保証する。
• モデルの柔軟性を維持するために、標準的な確率的分類器と変換モジュールを統合する。
• スコアの条件付き平均に対する線形公平性制約を用いて、人種的・グループ別公平性を確保する。
• 2段階アプローチを採用：まずベース分類器を学習し、その後に変換を適用して公平性を達成する。

実験結果

リサーチクエスチョン

• RQ1 公平性制約の下で交差エントロピー損失を最小化する閉形式のスコア変換が導けるか？
• RQ2 有限標本設定において変換パラメータをどのように推定すれば、漸近的に最適となるか？
• RQ3 提案手法は、スコアベースの評価指標において、既存の公平分類手法を上回る性能を示すか？
• RQ4 公平性制約を満たしつつ、どれほど高い有効性を維持できるか？
• RQ5 このフレームワークは、後処理と前処理の両設定に柔軟に適用可能か？

主な発見

• FairScoreTransformerは、BrierスコアやAUCといったスコアベースの指標で、10の既存手法を上回る最先端の性能を達成した。
• 有限標本における変換パラメータは漸近的に最適であり、標本サイズが増加するにつれて母集団解に収束する。
• 精度などのバイナリラベルベースの指標においても競争力のある性能を示し、評価基準全体にわたるバランスの取れた性能を実現した。
• 最適スコアの閉形式解は、母集団の極限において、公平性制約を満たす交差エントロピーの最小化器に一致する。
• ADMMの使用により、実用的設定における変換パラメータの安定的かつ効率的な最適化が可能になった。
• このフレームワークは、任意のベース分類器と柔軟に統合可能であり、後処理および前処理の両方の応用をサポートする。