[論文レビュー] Penalizing Unfairness in Binary Classification

Yahav Bechavod, Katrina Ligett|arXiv (Cornell University)|Jun 30, 2017

Medical Coding and Health Information被引用数 75

ひとこと要約

この論文は、保護グループ間で偽陽性率(FPR)と偽陰性率(FNR)の差を罰する公平性意識の学習フレームワークを導入し、公平性をわずかな精度損失で改善します。COMPASや他のいくつかのデータセットでこれを実証します。

ABSTRACT

We present a new approach for mitigating unfairness in learned classifiers. In particular, we focus on binary classification tasks over individuals from two populations, where, as our criterion for fairness, we wish to achieve similar false positive rates in both populations, and similar false negative rates in both populations. As a proof of concept, we implement our approach and empirically evaluate its ability to achieve both fairness and accuracy, using datasets from the fields of criminal risk assessment, credit, lending, and college admissions.

研究の動機と目的

• 保護された集団間で偽陽性率と偽陰性率を一致させることに基づく公平性の概念を動機づけ、定式化する。
• FPR/FNRのパリティを訓練中に強制するペナルティ付き正則化項を提案する。
• 公正性を学習目的に組み込むことが、複数のデータセットにおいてポスト処理法を上回ることを示す。
• 実世界データにおいて、公平性が最小限の精度低下で達成可能であることを実証的証拠として示す。

提案手法

• 保護属性グループのFPRとFNRを定義し、グループ間の差異を測る2つのグループレベルのペナルティを導入する。
• マージンベースのペナルティとしてAbsolute Value Difference (AVD) および Squared Difference (SD) を提案し、0-1損失を緩和して凸性/微分可能性を保証する。
• これらのペナルティを境界ベースの分類器（例：線形分類器、カーネル化/非線形SVMへの拡張を含む）に対する正則化リスク最小化目的に埋め込む。
• ロジスティック回帰への適用を特殊化し、尤度と公平性ペナルティおよびL2正則化をバランスさせるconvexProxy最適化問題を得る。
• 代理的な凸問題を最適化する訓練スキームを実装し、その結果得られた分類器を分離検証データで評価する。
• 複数のデータセットで、既存のポスト処理法および proxy ベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 保護されたグループ間でFPRとFNRの parity を明示的に促すペナルティは、大きな精度低下を伴わずに公平性を達成できるのか？
• RQ2 実世界データセット上で、AVDペナルティ変種とSDペナルティ変種は、ポスト処理の公平性手法と比較して実践的にどのように機能するか？
• RQ3 学習目的に公平性ペナルティを組み込むと、精度と公平性のトレードオフはどうなるのか？
• RQ4 このアプローチは大規模データセットへスケール可能で、非線形モデルにも適用可能か？

主な発見

• 提案されたペナルティ付き学習アプローチは、データセット全体で不公平さ（FPR/FNRの差異）を大幅に低減しつつ、競争力のある精度を維持した。
• COMPASでは、ペナルティ付き手法がFPR/FNRの乖離をほぼゼロに近づけ、精度は複数のベースラインと同等またはそれより優れている。
• Adult、Loan Default、Admissionsデータセット全体で、本手法はHardtら（ポスト処理）およびZafarら（プロキシ最適化）などの代替法と比較して、妥当な精度で公正な予測を実現する。
• SDおよびAVDペナルティ変種は、精度の異なるトレードオフで公正性改善を示し、公正性と性能のバランスの柔軟性を示す。
• 実証的な結果は、学習フェーズに公正性を組み込むことが、複数の設定でポストホックの公平性手法を上回ることを示している。