[논문 리뷰] The Fairness of Risk Scores Beyond Classification: Bipartite Ranking and the XAUC Metric

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|2019. 01. 01.

Law, Economics, and Judicial Systems인용 수 14

한 줄 요약

이 논문은 이진 분류를 초월하여 예측 위험 점수의 공정성 평가를 위해 이분류 순위 매기기 작업으로 모델링함으로써, 공정성 평가의 한계를 해결하는 xAUC 이질성이라는 지표를 소개한다. 이는 순위 손실를 그룹별 예측 성능 및 이질성 성분으로 분해하여, 기존 지표가 간과하는 재범, 소득, 심장 마비 예측에서의 숨겨진 공정성 문제를 드러낸다.

ABSTRACT

Where machine-learned predictive risk scores inform high-stakes decisions, such as bail and sentencing in criminal justice, fairness has been a serious concern. Recent work has characterized the disparate impact that such risk scores can have when used for a binary classification task. This may not account, however, for the more diverse downstream uses of risk scores and their non-binary nature. To better account for this, in this paper, we investigate the fairness of predictive risk scores from the point of view of a bipartite ranking task, where one seeks to rank positive examples higher than negative ones. We introduce the xAUC disparity as a metric to assess the disparate impact of risk scores and define it as the difference in the probabilities of ranking a random positive example from one protected group above a negative one from another group and vice versa. We provide a decomposition of bipartite ranking loss into components that involve the discrepancy and components that involve pure predictive ability within each group. We use xAUC analysis to audit predictive risk scores for recidivism prediction, income prediction, and cardiac arrest prediction, where it describes disparities that are not evident from simply comparing within-group predictive performance.

연구 동기 및 목표

• 이진 분류 과제를 초월하여 위험 점수의 공정성 평가에 있어 기존의 한계를 해결하기 위해.
• 양방향 순위 매기기 프레임워크를 통해 위험 점수의 공정성을 모델링하기 위해, 양성 예측값이 음성 예측값보다 앞서야 한다는 원칙을 적용하기 위해.
• 보호 그룹 간 순위 확률의 차이를 정량화하는 새로운 공정성 지표인 xAUC 이질성을 개발하기 위해.
• 이분류 순위 매기기 손실를 그룹 내 예측 성능과 그룹 간 이질성 성분으로 분해하기 위해.
• 실제 위험 점수를 재범 예측, 소득 예측, 심장 마비 예측 분야에서 xAUC 분석을 활용하여 내부 그룹 지표로는 드러나지 않는 공정성 문제를 진단하기 위해.

제안 방법

• xAUC 이질성을 정의하여, 한 보호 그룹의 양성 예측값이 다른 그룹의 음성 예측값보다 앞서야 할 확률과 그 반대의 확률 간의 차이를 측정한다.
• 그룹 간 상대적 순위가 올바르게 이루어질 가능성을 비교하는 비율적 수식을 통해 xAUC 이질성을 정의한다.
• 이분류 순위 매기기 손실를 두 성분으로 분해한다: 각 그룹 내 예측 능력을 반영하는 성분과 그룹 수준의 순위 성능 이질성을 측정하는 성분.
• 세 영역인 재범 예측, 소득 예측, 심장 마비 예측에서 xAUC 프레임워크를 적용하여 위험 점수를 감시한다.
• empirical 분석을 통해 xAUC 이질성과 기존의 내부 그룹 성능 지표를 비교하여, 기존에 드러나지 않았던 격차를 드러낸다.
• 통계적 분해 기법을 활용하여, 모델 校정 또는 차별성의 차이에서 기인하는 순위 성능의 이질성 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 이진 분류가 아닌 이분류 순위 매기기 관점에서 평가할 경우, 위험 점수의 공정성은 어떻게 나타나는가?
• RQ2 기존의 공정성 지표는 얼마나 많은 순위 기반 의사결정에서 나타나는 이질성을 간과하는가?
• RQ3 xAUC 이질성은 내부 그룹 예측 성능에서 드러나지 않는 위험 점수의 공정성 문제를 효과적으로 탐지할 수 있는가?
• RQ4 순위 손실의 성분인 예측 능력과 그룹 간 이질성은 실제 위험 예측 과제에서 어떻게 다르게 기여하는가?
• RQ5 xAUC 분석은 기존 지표가 간과하는 재범, 소득, 심장 마비 예측에서의 공정성에 대해 어떤 통찰을 제공하는가?

주요 결과

• xAUC 이질성은 재범 예측에서 내부 그룹 예측 성능 지표로는 감지되지 않는 공정성 이질성을 성공적으로 식별한다.
• 소득 예측에서는 내부 그룹 AUC 값이 유사하더라도, xAUC 분석을 통해 인구 통계적 그룹 간에 심각한 순위 불균형이 드러난다.
• 심장 마비 예측에서는 전체 모델 성능이 적절한 편임에도 불구하고, 특정 보호 그룹에 대해 체계적인 순위 불리함이 드러난다.
• 순위 손실의 분해 분석 결과, 그룹 간 이질성 성분이 전체 손실에 의미 있는 기여도를 보이며, 이는 공정성 문제의 원인이 예측 능력 부족 때문만은 아님을 시사한다.
• 伝통적인 분류 기반 공정성 지표보다 xAUC 이질성 지표가 더 세밀하고 종합적인 공정성 평가를 제공한다.
• empirical 결과는 유사한 내부 그룹 AUC를 가진 위험 점수 간에도 교차 그룹 순위 공정성에서 상당한 차이가 존재할 수 있음을 보여주며, 이는 평가 프레임워크의 새로운 접근이 필요함을 강조한다.