[논문 리뷰] Equality of Opportunity in Supervised Learning

Moritz Hardt, Eric Price외 1명|arXiv (Cornell University)|2016. 10. 07.

Ethics and Social Impacts of AI참고 문헌 6인용 수 1,909

한 줄 요약

본 논문은 보호 속성 A를 가진 X에서 Y를 예측할 때 무의식적 공정성 기준(equalized odds와 equal opportunity)을 정의하고, 어떤 예측기도 편향을 제거하면서 유용성을 보존하거나 개선하는 방식으로 후처리하는 방법을 제시한다.

ABSTRACT

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy. In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individualfeatures. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests. We illustrate our notion using a case study of FICO credit scores.

연구 동기 및 목표

• 감독 학습에서 보호 속성에 대해 비차별적(non-discrimination)의 무의식적 개념을 형식화한다.
• 학습된 예측기나 점수에서 비차별적 예측기를 도출하기 위한 후처리 프레임워크를 제안한다.
• Bayes-optimal 비차별 예측기가 Bayes-optimal 회귀값으로부터 얻어질 수 있음을 보여주고, 근접 최적화 결과를 제시한다.
• 무의식적 공정성 접근의 고유한 한계와 차별의 식별 가능성에 대해 분석한다.

제안 방법

• 조건부 독립성으로 Y를 주어진 경우에 equalized odds와 equal opportunity를 정의한다.
• 초기 예측기와 보호 속성 A에만 의존하는 파생 예측기를 도입한다.
• 실수 값의 Y, A에 대해서도 최소 손실의 equalized odds 예측기를 찾기 위해 이진 문제를 선형 계획으로 형식화한다.
• 실수 점수 R에 대해서도 분해된 임계값과 확률적 임계화를 사용하여 equalized odds를 달성한다.
• Bayes-optimal 회귀기로부터 Bayes-optimal equalized odds 예측기가 도출될 수 있음을 보이고, 조건부 Kolmogorov 거리를 이용한 근사 최적성 결과를 제시한다.

실험 결과

연구 질문

• RQ1 개별 특징에 무관하고 (Y, Ŷ, A)의 결합 통계에만 의존하는 차별 정의와 측정 방법은 어떻게 될까?
• RQ2 학습된 어떤 예측기도 최소한의 예측 정확도 손실로 equalized odds 또는 equal opportunity를 만족하도록 후처리될 수 있을까?
• RQ3 Bayes-optimal 예측기와 편향-강건한 버전 간의 관계는 무엇인가? 무의식적 공정성 제약하에서의 관계는?
• RQ4 무의식적 테스트에서 참 차별 구조를 식별하는 데 어떤 한계가 있는가?

주요 결과

• 보호 속성에 따른 차별을 피하는 직관적으로 확인 가능하고 해석 가능한 개념이 제안되며, 이는 향상된 유용성과 정렬되는 것으로 보인다.
• 후처리 단계로 원래 모델을 재학습하지 않고도 임의의 이진 예측기나 점수로부터 비차별적 예측기를 도출할 수 있다.
• binary Y와 A의 경우, 도출된 equalized odds 예측기는 (Ŷ, A, Y)의 결합 분포에서 계산된 계수로 선형 계획으로 얻어질 수 있다.
• 비슷한 접근으로 더 약한 제약을 가진 equal opportunity를 달성할 수 있으며, 임계값은 효율적으로 최적화될 수 있다(예: 삼분 탐색을 통해).
• Bayes-optimal equalized odds 예측기는 Bayes-optimal 회귀기로부터 도출될 수 있으며, 회귀기가 Bayes 최적에서 벗어날 때의 손실을 수치화한 근사 최적성 결과가 제시된다.