[논문 리뷰] On Fairness and Calibration

Geoff Pleiss, Manish Raghavan외 3명|arXiv (Cornell University)|2017. 09. 06.

Explainable Artificial Intelligence (XAI)인용 수 288

한 줄 요약

이 논문은 인구 집단 간 오류 불균형을 최소화하는 것과 보정된 확률 추정치를 유지하는 것 사이의 긴장을 분석하고, 보정이 광범위한 동등한 오즈 제약과 양립하지 않음을 입증하며, 정보 보유를 포기하는(post-processing) 방법을 통한 보정 보존 완화를 제안하여 동일 비용 제약을 달성한다.

ABSTRACT

The machine learning community has become increasingly concerned with the potential for bias and discrimination in predictive models. This has motivated a growing line of work on what it means for a classification procedure to be "fair." In this paper, we investigate the tension between minimizing error disparity across different population groups while maintaining calibrated probability estimates. We show that calibration is compatible only with a single error constraint (i.e. equal false-negatives rates across groups), and show that any algorithm that satisfies this relaxation is no better than randomizing a percentage of predictions for an existing classifier. These unsettling findings, which extend and generalize existing results, are empirically confirmed on several datasets.

연구 동기 및 목표

• 민감한 영역에서의 예측 분류의 공정성 연구를 동기 부여한다.
• 다른 기본 비율을 가진 그룹 간의 확률적 분류기에 대해 보정과 동등한 오즈를 형식화한다.
• 보정이 느슨한 오류율 제약과 공존할 수 있는지 조사하고 타당성을 특징짓는다.
• 보정과 동일 비용 제약을 달성하기 위한 포스트-프로세싱 방법을 제시하고 그 시사점을 분석한다.
• 실제 데이터 세트에서 보정된 공정성과 보정되지 않은 접근법을 실증적으로 평가한다.

제안 방법

• 두 개의 그룹과 서로 다른 기본 비율을 가진 확률적 분류기에 대해 동등한 오즈 프레임워크를 확장한다.
• 보정된 확률 출력에 대해 일반화된 위양성( FP ) 및 위음성( FN ) 비율을 정의한다.
• 보정 제약을 FP/ FN 공간의 직선으로 표현하는 선형 관계로 특징짓는다.
• 보정과 동등한 오즈를 동시에 만족하는 것이 일반적으로 불가능하다는 불가능성 결과를 보인다.
• 가중치를 그룹별로 갖는 비용 함수 g_t 를 사용하여 FP 와 FN 을 결합하는 보정 안정화의 완화된 동등한 오즈 프레임워크를 도입한다.
• 보정을 유지하면서 동일 비용을 맞추기 위해 예측의 일부를 무작위로 선택적으로 보류하는 후처리 알고리즘을 제안한다.
• 정보 보유 접근법의 타당성 조건을 입증하고 최적성을 분석한다.
• 여러 개의 동일 비용 제약을 보정과 함께 만족시키는 경우의 불가능성 정리와 완화된 프레임워크 아래의 유일한 해를 포함한 이론적 결과를 제공한다.

(a) Possible cal. classifiers $\mathcal{H}^{*}_{1},\mathcal{H}^{*}_{2}$ (blue/red).

실험 결과

연구 질문

• RQ1 보정된 확률 분류기가 서로 다른 기본 비율을 가진 그룹 간에 동등한 오즈를 만족할 수 있는가?
• RQ2 보정 보존을 가능하게 하는 동등한 오즈의 완화는 어떤 것이며, 어떤 조건에서 실현 가능한가?
• RQ3 보정과 동일 비용 제약을 달성하는 포스트-프로세싱 방법이 있으며, 그것이 공정성과 개인 효용에 어떤 함의를 가지는가?
• RQ4 실제 데이터 세트에서 보정된 공정성과 보정되지 않은 동등한 오즈를 비교할 때 어떤 현상이 나타나는가?

주요 결과

• 보정과 동등한 오즈는 일반적으로 양립하지 않으며, 비정상적(완벽한) 경우를 제외하고는 불가능하다.
• 예측의 일부를 보류하는 포스트-프로세싱을 통해 보정을 유지하면서 단일 동일 비용 제약을 달성할 수 있다.
• 완화된 제약하에서 비용을 동일화하기 위해 예측을 무작위로 선택하는 해가 존재한다.
• 다수의 동일 비용 제약을 보정과 함께 만족시키는 것은 완벽한 정확도를 강제한다는 일반적 불가능성 정리를 제공한다.
• 소득 예측, 건강 예측, 재범 가능성 데이터셋에 대한 실증 평가는 보정이 전체 오류를 증가시키고 상황에 따라 격차를 이동시킬 수 있는 트레이드오프를 보여준다.

(b) Satisfying cal. and equal F.P. rates.