[論文レビュー] Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints

Robin Vogel, Aurélien Bellet+1 more|arXiv (Cornell University)|Feb 19, 2020

Ethics and Social Impacts of AI参考文献 48被引用数 14

ひとこと要約

本稿では、バイパーティットランクイングにおける公平なスコア関数を学習するための新規フレームワークを提案する。このフレームワークは、受信器操作特性（ROC）曲線上に直接公平性制約を課すことにより、閾値化された分類器が感受性群に跨って類似した真正陽性率（TPR）と偽陽性率（FPR）を維持することを保証する。ROCに基づく公平性定義を導入し、一般化バウンドを確立し、実験により、本手法がさまざまな閾値において公平な意思決定を達成でき、特に重要な運用領域ではAUCに基づく公平性を上回ることを示している。

ABSTRACT

Many applications of AI involve scoring individuals using a learned function of their attributes. These predictive risk scores are then used to take decisions based on whether the score exceeds a certain threshold, which may vary depending on the context. The level of delegation granted to such systems in critical applications like credit lending and medical diagnosis will heavily depend on how questions of fairness can be answered. In this paper, we study fairness for the problem of learning scoring functions from binary labeled data, a classic learning task known as bipartite ranking. We argue that the functional nature of the ROC curve, the gold standard measure of ranking accuracy in this context, leads to several ways of formulating fairness constraints. We introduce general families of fairness definitions based on the AUC and on ROC curves, and show that our ROC-based constraints can be instantiated such that classifiers obtained by thresholding the scoring function satisfy classification fairness for a desired range of thresholds. We establish generalization bounds for scoring functions learned under such constraints, design practical learning algorithms and show the relevance our approach with numerical experiments on real and synthetic data.

研究の動機と目的

• 信用貸付や医療診断などのハイリスク応用分野で意思決定に用いられるスコア関数における公平性を扱う。
• 単一の点ではなく、さまざまな意思決定閾値に跨って意味のある公平性制約を構築する。
• AUCのようなスカラー指標ではなく、関数的ROC曲線の観点から公平性を形式化する。
• ROCベースの公平性制約の下で学習されたスコア関数の一般化バウンドを提供する。
• ランキング性能を維持しつつ、これらの制約を強制する実用的な学習アルゴリズムを設計する。

提案手法

• AUCに限らない、ROC曲線全体に基づく一般化された公平性定義の族を導入する。
• さまざまな閾値において感受性群に跨ってTPRとFPRが等しくなるようにする公平性制約を定義する。
• ROC曲線の関数的性質を活用し、意思決定がなされる高スコア領域におけるスコア分布の整合性を導く。
• AUCなどのランキング性能最適化をROCベースの公平性制約の下で行う学習アルゴリズムを提案する。
• 提案された公平性制約の下で学習されたスコア関数の一般化バウンドを確立する。
• 実用的な最適化が可能になるよう、ROCベースの公平性条件の緩和を用いた経験的リスク最小化を採用する。

実験結果

リサーチクエスチョン

• RQ1 AUCのようなスカラー要約統計量を超えて、バイパーティットランクイングにおける公平性を意味的に定義できるか？
• RQ2 公平性制約を、特定の1点ではなく、さまざまな意思決定閾値に跨って保持できるようにどのように定式化できるか？
• RQ3 ROCベースの公平性制約により、複数の閾値においてTPRとFPRの両方で公平な分類器が得られるか？
• RQ4 ROCベースの公平性制約の下で学習されたスコア関数に対して、どのような一般化保証を提供できるか？
• RQ5 実世界および合成データにおいて、ROCベースの公平性制約はAUCベースの公平性と比べてどのように異なるか？

主な発見

• 提案されたROCベースの公平性制約により、意思決定がなされる高スコア領域におけるスコア分布が適切に整合され、さまざまな閾値において感受性群に跨って公平なTPRとFPRが確保された。
• ドイツのクレジットデータセットにおいて、ROC制約付きモデルは、制約なしおよびAUC制約付きモデルと比較して、特に高閾値における性別による偽陰性率の格差を低減した。
• AUC値が類似していたとしても、ROC制約付きモデルはAUC制約付きモデルよりも、閾値に跨ってFPRとTPRの両方においてより高い公平性を達成した。
• Compasデータセットでは、ROCベースの手法が、運用意思決定が通常行われる低FPR領域において、人種による偽陽性率および偽陰性率の格差を低減した。
• 本稿で導出した一般化バウンドにより、トレーニングデータ上でのみ公平性が保証されるのではなく、実稼働環境でも公平性が維持されることを保証する。
• 実験の結果、AUCベースの公平性は、低FPR領域におけるTPRとFPRの顕著な格差を隠蔽する可能性があるのに対し、ROCベースの制約はROC曲線の関数的挙動に焦点を当てることで、こうした問題を是正している。