[論文レビュー] Learning Fair Scoring Functions: Fairness Definitions, Algorithms and Generalization Bounds for Bipartite Ranking.

Robin Vogel, Aurélien Bellet+1 more|arXiv (Cornell University)|Feb 19, 2020

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、受容曲線（ROC曲線）の関数的性質に基づく公平性制約を定式化することで、二部グラフ順序付けにおける柔軟な公平性フレームワークを提案する。これにより、一般化された公平性条件のクラスを導入し、これらの制約下でのスコアリング関数の一般化境界を確立する。実用的な学習アルゴリズムを提示し、数値実験を通じてその有効性を示し、信用貸付や再犯予測といったリスクスコアリング応用分野における公平性の向上を図る。

ABSTRACT

Many applications of artificial intelligence, ranging from credit lending to the design of medical diagnosis support tools through recidivism prediction, involve scoring individuals using a learned function of their attributes. These predictive risk scores are used to rank a set of people, and/or take individual decisions about them based on whether the score exceeds a certain threshold that may depend on the context in which the decision is taken. The level of delegation granted to such systems will heavily depend on how questions of fairness can be answered. While this concern has received a lot of attention in the classification setup, the design of relevant fairness constraints for the problem of learning scoring functions has not been much investigated. In this paper, we propose a flexible approach to group fairness for the scoring problem with binary labeled data, a standard learning task referred to as bipartite ranking. We argue that the functional nature of the ROC curve, the gold standard measuring ranking performance in this context, leads to several possible ways of formulating fairness constraints. We introduce general classes of fairness conditions in bipartite ranking and establish generalization bounds for scoring rules learned under such constraints. Beyond the theoretical formulation and results, we design practical learning algorithms and illustrate our approach with numerical experiments.

研究の動機と目的

• 二値ラベル付きデータに対するスコアリング関数を学習する際の、体系的な公平性制約の欠如に取り組むこと。
• 受容曲線（ROC曲線）の関数的構造を通じて、二部グラフ順序付けにおける公平性を定義し、複数の公平性定式化を可能にする。
• 公平性制約下で訓練されたスコアリングルールの一般化境界を確立すること。
• 順序付け性能を維持しながら公平性を強制する実用的な学習アルゴリズムを設計すること。
• 数値実験を通じて、提案フレームワークの実証的妥当性を検証し、公平性と有用性のトレードオフを示すこと。

提案手法

• 受容曲線（ROC曲線）の関数的挙動を分析することで、閾値の関数として連続的な曲線とみなすことで、公平性制約を定式化する。
• 等しいオッズ（equalized odds）や等しい機会（equal opportunity）といった、スコアリング関数設定に適応された一般化された公平性条件のクラスを導入する。
• 公平性に配慮したスコアリングルールの統計的信頼性を定量化する一般化境界を導出する。
• サーヴィレット損失関数を用いることで、微分可能な最適化フレームワークを提案し、公平性制約下でのスコアリング関数の学習を実現する。
• 正則化または制約の強制を通じて、順序付け性能（AUC）と公平性指標のバランスを取る制約付き学習アプローチを採用する。
• 合成データおよび実世界のデータセットを用いて手法を検証し、公平性と順序付け性能のトレードオフを測定する。

実験結果

リサーチクエスチョン

• RQ1 受容曲線（ROC曲線）の関数的性質を踏まえると、二部グラフ順序付けにおけるスコアリング関数の公平性はどのように意味的に定義できるか？
• RQ2 スコアリング関数の構造と順序付け評価に適合する一般化された公平性制約のクラスは何か？
• RQ3 公平性制約は、学習済みスコアリング関数の一般化性能にどのように影響するか？
• RQ4 順序付けの有用性を維持しながら、効果的に公平なスコアリング関数を学習するための実用的最適化アルゴリズムは何か？
• RQ5 実世界の応用において、公平性と順序付け性能の間にはどのようなトレードオフが存在するか？

主な発見

• 受容曲線（ROC曲線）の関数的形態により、グループごとの等しい偽陽性率や等しい真正陽性率といった、複数の解釈可能な公平性定義が二部グラフ順序付けで可能になる。
• 公平性に配慮したスコアリング関数に対して一般化境界を確立し、分布シフト下でも統計的信頼性を保証する。
• 提案された学習アルゴリズムは、公平性制約を満たしつつも、競争力のあるAUCスコアを達成しており、実用的妥当性を示している。
• 数値実験の結果、順序付け性能の著しい低下を伴わずに、公平性制約を効果的に強制できることを示している。
• 本フレームワークは柔軟な公平性定義をサポートしており、実務者が特定の応用文脈に合わせて制約をカスタマイズできる。