[논문 리뷰] Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints

Robin Vogel, Aurélien Bellet외 1명|arXiv (Cornell University)|2020. 02. 19.

Ethics and Social Impacts of AI참고 문헌 48인용 수 14

한 줄 요약

이 논문은 양방향 순위 매기기에서 공정한 스코링 함수를 학습하기 위한 새로운 프레임워크를 제안한다. 이 프레임워크는 ROC 곡선에 직접적으로 공정성 제약 조건을 적용하여, 임계값이 설정된 분류기가 민감 그룹 간에 유사한 진성 긍정률과 위성 긍정률을 유지하도록 보장한다. 연구에서는 ROC 기반의 공정성 정의를 도입하고, 일반화 경계를 설정하며, 실험을 통해 다양한 임계값 범위에서 공정한 의사결정을 달성함으로써 AUC 기반 공정성보다도 핵심 운영 영역에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Many applications of AI involve scoring individuals using a learned function of their attributes. These predictive risk scores are then used to take decisions based on whether the score exceeds a certain threshold, which may vary depending on the context. The level of delegation granted to such systems in critical applications like credit lending and medical diagnosis will heavily depend on how questions of fairness can be answered. In this paper, we study fairness for the problem of learning scoring functions from binary labeled data, a classic learning task known as bipartite ranking. We argue that the functional nature of the ROC curve, the gold standard measure of ranking accuracy in this context, leads to several ways of formulating fairness constraints. We introduce general families of fairness definitions based on the AUC and on ROC curves, and show that our ROC-based constraints can be instantiated such that classifiers obtained by thresholding the scoring function satisfy classification fairness for a desired range of thresholds. We establish generalization bounds for scoring functions learned under such constraints, design practical learning algorithms and show the relevance our approach with numerical experiments on real and synthetic data.

연구 동기 및 목표

• 신용 대출 및 의료 진단과 같은 고위험 응용 분야에서 의사결정에 사용되는 스코링 함수의 공정성 문제를 다루기 위해.
• 단일 점이 아닌 다양한 의사결정 임계값에서 의미 있는 공정성 제약 조건을 개발하기 위해.
• AUC와 같은 스칼라 지표가 아닌 기능적 ROC 곡선을 기반으로 공정성을 정의하기 위해.
• ROC 기반의 공정성 제약 조건 하에 학습된 스코링 함수에 대한 일반화 경계를 제공하기 위해.
• 이러한 제약 조건을 이행하면서도 순위 성능를 유지하는 실용적인 학습 알고리즘을 설계하기 위해.

제안 방법

• AUC가 아닌 전체 ROC 곡선을 기반으로 하는 일반적인 공정성 정의의 가족을 도입한다.
• 다양한 임계값에서 민감 그룹 간에 진성 긍정률과 위성 긍정률의 동일성을 보장하는 공정성 제약 조건을 정의한다.
• ROC 곡선의 기능적 성격을 활용하여, 의사결정이 이루어지는 고스코어 영역에서 점수 분포가 일치하도록 제약 조건을 유도한다.
• AUC와 같은 순위 성능 최적화를 ROC 기반의 공정성 제약 조건 하에서 수행하는 학습 알고리즘을 제안한다.
• 제안된 공정성 제약 조건 하에서 학습된 스코링 함수에 대한 일반화 경계를 수립한다.
• 처리 가능한 최적화를 위해 ROC 기반의 공정성 조건을 완화한 형태를 사용하여 경험적 리스크 최소화를 구현한다.

실험 결과

연구 질문

• RQ1 AUC와 같은 스칼라 요약 통계량을 넘어서, 이분류 순위 매기기에서 공정성을 의미 있게 정의할 수 있는가?
• RQ2 어떻게 하면 다양한 의사결정 임계값에서 유지되는 공정성 제약 조건을 설정할 수 있는가?
• RQ3 ROC 기반의 공정성 제약 조건이 여러 임계값에서 진성 긍정률과 위성 긍정률 모두에서 공정한 분류기를 도출할 수 있는가?
• RQ4 ROC 기반의 공정성 제약 조건 하에 학습된 스코링 함수에 대해 어떤 일반화 보장을 제공할 수 있는가?
• RQ5 실제 데이터와 시뮬레이션 데이터에서 ROC 기반의 공정성 제약 조건은 AUC 기반의 공정성과 어떻게 비교되는가?

주요 결과

• 제안된 ROC 기반의 공정성 제약 조건은 고스코어 영역에서 점수 분포를 효과적으로 일치시켜, 다양한 임계값 범위에서 민감 그룹 간에 공정한 진성 긍정률과 위성 긍정률을 보장한다.
• 독일 신용 데이터셋에서 ROC 제약 조건이 부여된 모델은 제약 조건이 없는 모델과 AUC 제약 조건이 부여된 모델에 비해 성별 기반의 위음성률 불균형을 줄였으며, 특히 고임계값에서 두드러진 성과를 보였다.
• AUC 값이 유사하더라도 ROC 제약 조건이 부여된 모델은 AUC 제약 조건이 부여된 모델보다 다양한 임계값에서 FPR과 TPR 측면에서 더 나은 공정성을 달성했다.
• Compas 데이터셋에서 ROC 기반 방법은 운영 결정이 일반적으로 이루어지는 저FPR 영역에서 인종 간의 위음성률 및 위양성률 불균형을 감소시켰다.
• 논문에서 유도한 일반화 경계는 훈련 데이터에서만 아니라 배포 시점에도 공정성이 유지됨을 보장한다.
• 실험 결과, AUC 기반의 공정성은 저FPR 영역에서 TPR과 FPR의 심각한 불균형을 가리킬 수 있으나, ROC 기반의 제약 조건은 ROC 곡선의 기능적 행동에 초점을 맞추어 이를 해결한다.