[논문 리뷰] Optimized Score Transformation for Fair Classification

Dennis Wei, Karthikeyan Natesan Ramamurthy외 1명|arXiv (Cornell University)|2019. 05. 31.

Ethics and Social Impacts of AI참고 문헌 21인용 수 18

한 줄 요약

이 논문은 예측 유틸리티 손실을 최소화하면서 공정성 제약 조건을 만족시키기 위해 분류기 점수를 최적의 방식으로 변환하는 후처리 방법 FairScoreTransformer을 제안한다. 볼록 최적화와 ADMM를 사용하여 점수 변환에 대한 폐쇄형 해를 유도하며, Brier 점수 및 AUC와 같은 점수 기반 지표에서 최신 기술 수준의 성능을 달성한다. 유한 표본 설정에서 渐近적으로 최적의 성능을 보인다.

ABSTRACT

This paper considers fair probabilistic classification where the outputs of primary interest are predicted probabilities, commonly referred to as scores. We formulate the problem of transforming scores to satisfy fairness constraints that are linear in conditional means of scores while minimizing the loss in utility. The formulation can be applied either to post-process classifier outputs or to pre-process training data, thus allowing maximum freedom in selecting a classification algorithm. We derive a closed-form expression for the optimal transformed scores and a convex optimization problem for the transformation parameters. In the population limit, the transformed score function is the fairness-constrained minimizer of cross-entropy with respect to the optimal unconstrained scores. In the finite sample setting, we propose to approach this solution using a combination of standard probabilistic classifiers and ADMM. The transformation parameters obtained from the finite-sample procedure are shown to be asymptotically optimal. Comprehensive experiments comparing to 10 existing methods show that the proposed FairScoreTransformer has advantages for score-based metrics such as Brier score and AUC while remaining competitive for binary label-based metrics such as accuracy.

연구 동기 및 목표

• 공정성 제약 조건을 만족시키면서 예측 유틸리티를 손상시키지 않고 분류기 점수를 변환하는 방법을 개발하는 것.
• 점수의 조건부 평균에 대해 선형인 점수 변환을 최적화하여 확률적 분류의 공정성을 보장하는 것.
• 후처리 분류기 출력과 전처리 학습 데이터 양쪽에 적용 가능한 유연한 프레임워크를 제공하는 것.
• 공정성 제약 조건 하에서 교차 엔트로피 손실을 최소화하여 공정성과 유틸리티 사이의 최적 트레이드오프를 달성하는 것.
• 유한 표본 설정에서 변환 파라미터의 渐近적 최적성을 보장하는 것.

제안 방법

• 공정성 제약 조건 하에서 교차 엔트로피 손실을 최소화하는 볼록 최적화 문제로 점수 변환을 공식화하는 것.
• 모집단 한계에서 최적의 변환 점수에 대한 폐쇄형 해를 도출하는 것.
• 유한 표본 최적화 문제를 해결하기 위해 ADMM를 적용하여 수렴성과 실용적 구현을 보장하는 것.
• 모델의 유연성을 유지하기 위해 표준 확률적 분류기와 변환 모듈을 통합하는 것.
• 점수의 조건부 평균에 대한 선형 공정성 제약 조건을 사용하여 민족적 또는 그룹 공정성을 보장하는 것.
• 두 단계 접근법을 활용: 기본 분류기 학습 → 이후 변환 적용으로 공정성 확보

실험 결과

연구 질문

• RQ1 공정성 제약 조건 하에서 교차 엔트로피 손실을 최소화하는 폐쇄형 점수 변환을 도출할 수 있는가?
• RQ2 유한 표본 설정에서 변환 파라미터를 어떻게 추정하여 渐近적 최적성을 확보할 수 있는가?
• RQ3 제안된 방법이 기존의 공정 분류 기법보다 점수 기반 평가 지표에서 뛰어난 성능을 보이는가?
• RQ4 공정성 제약 조건을 만족시키는 동안 유틸리티를 어느 정도 유지하는가?
• RQ5 이 프레임워크는 후처리 및 전처리 설정 양쪽에 대해 민감하게 적용 가능한가?

주요 결과

• FairScoreTransformer는 Brier 점수 및 AUC와 같은 점수 기반 지표에서 기존 10개의 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 유한 표본에서의 변환 파라미터는 표본 크기가 증가함에 따라 모집단 해로 수렴하여 渐近적으로 최적임을 입증한다.
• 정확도와 같은 이진 레이블 기반 지표에서도 경쟁력 있는 성능을 유지하여 평가 기준 전반에 걸쳐 균형 잡힌 성능을 보인다.
• 최적 점수에 대한 폐쇄형 해는 모집단 한계에서 공정성 제약 조건 하의 교차 엔트로피 최소화자이다.
• ADMM의 사용은 실용적 환경에서 변환 파라미터의 안정적이고 효율적인 최적화를 가능하게 한다.
• 이 프레임워크는 어떤 기본 분류기와도 민감하게 통합 가능하여 후처리 및 전처리 응용 모두를 지원한다.