[論文レビュー] The Fairness of Risk Scores Beyond Classification: Bipartite Ranking and the XAUC Metric

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Jan 1, 2019

Law, Economics, and Judicial Systems被引用数 14

ひとこと要約

本稿では、二値分類を越えて予測リスクスコアの公平性を評価するための新しい指標であるx AUC不平等を導入する。これは、リスクスコアを二部マッチングの順序付けタスクとしてモデル化することで、順序付け損失をグループ固有の予測性能と不平等要因に分解し、標準的な指標が見逃す可能性のある、再犯、収入、心停止予測における隠れた公平性の問題を明らかにする。

ABSTRACT

Where machine-learned predictive risk scores inform high-stakes decisions, such as bail and sentencing in criminal justice, fairness has been a serious concern. Recent work has characterized the disparate impact that such risk scores can have when used for a binary classification task. This may not account, however, for the more diverse downstream uses of risk scores and their non-binary nature. To better account for this, in this paper, we investigate the fairness of predictive risk scores from the point of view of a bipartite ranking task, where one seeks to rank positive examples higher than negative ones. We introduce the xAUC disparity as a metric to assess the disparate impact of risk scores and define it as the difference in the probabilities of ranking a random positive example from one protected group above a negative one from another group and vice versa. We provide a decomposition of bipartite ranking loss into components that involve the discrepancy and components that involve pure predictive ability within each group. We use xAUC analysis to audit predictive risk scores for recidivism prediction, income prediction, and cardiac arrest prediction, where it describes disparities that are not evident from simply comparing within-group predictive performance.

研究の動機と目的

• 二値分類の範囲を超えたリスクスコアの公平性評価における限界を是正すること。
• 正例が負例よりも高い順位に来るようにするという条件を満たす二部マッチングの順序付けフレームワークを用いて、リスクスコアの公平性をモデル化すること。
• 保護群間の順序付け確率の差を定量化する新しい公平性指標、xAUC不平等を開発すること。
• 二部マッチング順序付け損失を、各グループ内の予測能力を反映する成分と、グループ間の順序付け性能の差を測る成分に分解すること。
• 再犯予測、収入予測、心停止予測の分野における実世界のリスクスコアを、xAUC分析を用いて監査し、標準的なグループ内指標では見えない公平性の問題を特定すること。

提案手法

• xAUC不平等を、ある保護群の正例を別の保護群の負例よりも高く順位付けする確率とその逆の確率との差として提案する。
• グループ間での正しい相対順位付けの確率を比較する確率的定式化を用いて、xAUC不平等を定義する。
• 二部マッチング順序付け損失を2つの成分に分解する：1つは各グループ内の予測能力を捉えるもの、もう1つはグループレベルでの順序付け性能の差を測るもの。
• xAUCフレームワークを、再犯予測、収入予測、心停止予測の3分野におけるリスクスコアの監査に適用する。
• 実証的分析を通じて、xAUC不平等を標準的なグループ内性能指標と比較し、それでは検出されない乖離を明らかにする。
• 統計的分解を用いて、順序付け性能におけるグループの不均衡の寄与度を、モデルのキャリブレーションや差別的行動の違いとは分離して特定する。

実験結果

リサーチクエスチョン

• RQ1 二値分類ではなく二部マッチング順序付けの視点で評価した場合、リスクスコアの公平性はどのように現れるか？
• RQ2 既存の公平性指標は、順序付けに基づく意思決定において生じる不平等をどの程度見逃しているか？
• RQ3 xAUC不平等は、グループ内予測性能からは見えないリスクスコアの公平性問題を効果的に検出できるか？
• RQ4 順序付け損失の成分、すなわち予測能力とグループ間不平等が、実世界のリスク予測タスクにおいてどのように異なる寄与をしているか？
• RQ5 標準的な指標では見過ごされる公平性の側面について、xAUC分析は再犯、収入、心停止予測においてどのような洞察を提供するか？

主な発見

• xAUC不平等は、再犯予測において、グループ内予測性能指標では検出できない公平性の不平等を的確に特定した。
• 収入予測においては、グループ内AUC値が類似しているにもかかわらず、xAUC分析が顕著な順序付けの不均衡を明らかにした。
• 心停止予測においては、全体的なモデル性能が妥当であるにもかかわらず、特定の保護群に系統的な順位付けの不利が存在することが、この指標によって明らかになった。
• 順序付け損失の分解から、グループ不平等成分が全体の損失に有意義に寄与していることが示され、公平性の問題が単に予測能力の低さに起因するわけではないことが明らかになった。
• 伝統的な分類ベースの公平性指標よりも、xAUC不平等は公平性の評価をより洗練され、包括的に可能にする。
• 実証的結果から、グループ内AUCが類似するリスクスコアでも、グループ間の順序付け公平性に顕著な差が生じることが示され、代替の評価フレームワークの必要性が強調された。