[논문 리뷰] Inherent Trade-Offs in the Fair Determination of Risk Scores

Jon Kleinberg, Sendhil Mullainathan외 1명|arXiv (Cornell University)|2016. 09. 19.

Bayesian Modeling and Causal Inference인용 수 422

한 줄 요약

본 논문은 확률적 위험 점수에 대한 세 가지 자연스러운 공정성 조건이 특별한 경우를 제외하고는 동시에 만족될 수 없다는 것을 입증하며, 공정한 위험 평가에서의 고유한 절충점을 드러낸다.

ABSTRACT

Recent discussion in the public sphere about algorithmic classification has involved tension between competing notions of what it means for a probabilistic classification to be fair to different groups. We formalize three fairness conditions that lie at the heart of these debates, and we prove that except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously. Moreover, even satisfying all three conditions approximately requires that the data lie in an approximate version of one of the constrained special cases identified by our theorem. These results suggest some of the ways in which key notions of fairness are incompatible with each other, and hence provide a framework for thinking about the trade-offs between them.

연구 동기 및 목표

• 확률적 분류에 대해 널리 논의되는 세 가지 공정성 조건을 형식화한다.
• 일반적으로 이 조건들이 동시에 만족될 수 없다는 것을 보인다.
• 세 가지 모두가 함께 성립될 수 있는 정확한 시나리오를 특징화한다.
• 위험 점수의 공정성 정의 간의 절충을 분석하는 프레임워크를 제시한다.

제안 방법

• 특징 벡터와 그룹별 분포를 갖는 두 그룹 모델을 정의한다.
• 특정 점수와 구간(bin)으로의 매핑을 통해 구간(bin)을 이용한 위험 할당을 도입한다.
• 그룹 내 보정과 양성/음성 클래스의 균형을 공정성 조건으로 형식화한다.
• 세 가지 조건이 모두 함께 성립할 수 있는 경우를 보여주는 특징화 정리를 증명한다.
• 공정성의 근사 버전으로 확장하고 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 그룹 내 보정, 양성 클래스의 균형, 음성 클래스의 균형이 동시에 만족될 수 있는가?
• RQ2 이 공정성 조건들이 완벽한 예측이나 동일 기본 비율(base rates)과 일치하는 데이터 생성 시나리오는 어떤 것인가?
• RQ3 공정성 조건의 근사 버전이 달성 가능한 위험 점수 구성에 어떻게 제약을 가하는가?
• RQ4 이러한 절충이 실제로 공정한 위험 점수 체계를 설계하는 데 어떤 시사점을 가지는가?

주요 결과

• 데이터가 완벽한 예측이나 동일한 기본 비율(base rates)을 보일 경우를 제외하고, 일반적으로 세 가지 공정성 조건은 호환되지 않는다.
• 조건을 근사적으로 만족시키면 위험 점수가 두 가지 제약된 특수 경우 중 하나를 닮아가게 만든다.
• 결과는 위험 점수를 계산하는 특정 방법(알고리즘적이든 인간이든)에 독립적으로 성립한다.
• 근사 수준과 특수 사례에 대한 근접성 사이의 관계를 연속 함수가 지배한다.
• 본 연구는 일반적인 공정성 개념 간의 절충을 이해하기 위한 이론적 프레임워크를 제공한다.