[논문 리뷰] Learning Fair Scoring Functions: Fairness Definitions, Algorithms and Generalization Bounds for Bipartite Ranking.

Robin Vogel, Aurélien Bellet외 1명|arXiv (Cornell University)|2020. 02. 19.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 이분류 순서 정렬에서 군 복지에 대한 영향을 고려한 탄력적인 프레임워크를 제안한다. 이는 ROC 곡선의 기능적 성질에 기반한 복지 제약 조건을 설정하고, 일반적인 복지 조건의 클래스를 도입하며, 이러한 제약 조건 하에서 스코링 함수에 대한 일반화 경계를 설정한다. 실용적인 학습 알고리즘을 제시하고 수치 실험을 통해 그 효과성을 입증함으로써, 신용 대출 및 재범 예측과 같은 리스크 스코링 응용 분야에서의 복지 향상을 이룬다.

ABSTRACT

Many applications of artificial intelligence, ranging from credit lending to the design of medical diagnosis support tools through recidivism prediction, involve scoring individuals using a learned function of their attributes. These predictive risk scores are used to rank a set of people, and/or take individual decisions about them based on whether the score exceeds a certain threshold that may depend on the context in which the decision is taken. The level of delegation granted to such systems will heavily depend on how questions of fairness can be answered. While this concern has received a lot of attention in the classification setup, the design of relevant fairness constraints for the problem of learning scoring functions has not been much investigated. In this paper, we propose a flexible approach to group fairness for the scoring problem with binary labeled data, a standard learning task referred to as bipartite ranking. We argue that the functional nature of the ROC curve, the gold standard measuring ranking performance in this context, leads to several possible ways of formulating fairness constraints. We introduce general classes of fairness conditions in bipartite ranking and establish generalization bounds for scoring rules learned under such constraints. Beyond the theoretical formulation and results, we design practical learning algorithms and illustrate our approach with numerical experiments.

연구 동기 및 목표

• 이진 레이블이 부여된 데이터를 위한 스코링 함수 학습에서 체계적인 복지 제약 조건의 부족을 해결하기 위해.
• ROC 곡선의 기능적 구조를 통해 이분류 순서 정렬에서 복지를 정의함으로써, 복수의 복지 정의 방식을 가능하게 하기 위해.
• 복지 제약 조건 하에서 학습된 스코링 규칙에 대한 일반화 경계를 수립하기 위해.
• 순서 정렬 성능을 유지하면서 복지를 강제하는 실용적인 학습 알고리즘을 설계하기 위해.
• 수치 실험을 통해 제안된 프레임워크를 실증적으로 검증하고, 복지와 유틸리티 사이의 트레이드오프를 입증하기 위해.

제안 방법

• ROC 곡선의 기능적 행동을 분석하여 복지 제약 조건을 설정하고, 이를 임계값에 대한 연속 곡선으로 간주한다.
• 등가된 우도( equalized odds) 및 등가된 기회( equal opportunity)와 같은 일반적인 복지 조건 클래스를 스코링 함수 설정에 맞게 적응시킨다.
• 복지 인식 스코링 규칙의 통계적 신뢰성을 정량화하는 일반화 경계를 유도한다.
• 서로 다른 최적화 프레임워크를 제안하여 복지 제약 조건 하에서 스코링 함수를 학습하며, 대체 손실 함수를 사용한다.
• 순서 정렬 성능(AUC)과 복지 지표 사이의 균형을 유지하기 위해 정규화 또는 제약 강제 방식을 사용하는 제약 학습 접근법을 채택한다.
• 합성 및 실제 데이터셋을 사용하여 방법을 검증하며, 복지와 순서 정렬 성능 간의 트레이드오프를 측정한다.

실험 결과

연구 질문

• RQ1 ROC 곡선의 기능적 성질을 고려할 때, 이분류 순서 정렬을 위한 스코링 함수에 대해 복지를 어떻게 의미적으로 정의할 수 있는가?
• RQ2 스코링 함수의 구조와 순서 정렬 평가에 적합한 일반적인 복지 제약 조건의 클래스는 무엇인가?
• RQ3 복지 제약 조건은 학습된 스코링 함수의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 순서 정렬 유틸리티를 유지하면서 효과적으로 공정한 스코링 함수를 학습시킬 수 있는 실용적인 최적화 알고리즘은 무엇인가?
• RQ5 실제 응용 분야에서 복지와 순서 정렬 성능 사이에 존재하는 트레이드오프는 무엇인가?

주요 결과

• ROC 곡선의 기능적 형태는 등가된 위험률 또는 등가된 참 양성률과 같이, 그룹 간에 해석 가능한 복지 정의를 다수 제공할 수 있다.
• 복지 인식 스코링 함수에 대한 일반화 경계가 확립되어, 분포 변화 상황에서도 통계적 신뢰성을 보장한다.
• 제안된 학습 알고리즘은 복지 제약 조건을 충족하면서도 경쟁력 있는 AUC 점수를 달성하여 실용적 타당성을 입증한다.
• 수치 실험 결과, 순서 정렬 성능에 상당한 악영향 없이 복지 제약 조건을 효과적으로 강제할 수 있음을 보여준다.
• 이 프레임워크는 탄력적인 복지 정의를 지원하여, 실무자가 특정 응용 분야의 맥락에 맞게 제약 조건을 맞춤 설정할 수 있도록 한다.