[논문 리뷰] Equal Opportunity and Affirmative Action via Counterfactual Predictions

Zhaoran Wang, Dhanya Sridhar외 1명|arXiv (Cornell University)|2019. 05. 26.

Game Theory and Voting Systems참고 문헌 3인용 수 10

한 줄 요약

이 논문은 인과적 추론 기반 알고리즘을 제안하여 기계 학습 예측기의 예측을 보정함으로써 동등 기회(EO) 및 혜택 제공(IA) 형평성을 확보한다. 결정을 인과 그래프에서의 간섭으로 모델링함으로써, 예측의 정확도를 유지하면서도 EO 및 AA 기준을 충족시키기 위해 최소한의 수정을 가한다. 실세계 데이터셋에서 기존 방법들보다 형평성-정확도 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

Machine learning (ML) can automate decision-making by learning to predict decisions from historical data. However, these predictors may inherit discriminatory policies from past decisions and reproduce unfair decisions. In this paper, we propose two algorithms that adjust fitted ML predictors to make them fair. We focus on two legal notions of fairness: (a) providing equal opportunity (EO) to individuals regardless of sensitive attributes and (b) repairing historical disadvantages through affirmative action (AA). More technically, we produce fair EO and AA predictors by positing a causal model and considering counterfactual decisions. We prove that the resulting predictors are theoretically optimal in predictive performance while satisfying fairness. We evaluate the algorithms, and the trade-offs between accuracy and fairness, on datasets about admissions, income, credit and recidivism.

연구 동기 및 목표

• 과거 결정에서 유래한 역사적 편향을 유산으로 이어받는 기계 학습 예측기의 형평성 문제를 해결하기 위해.
• 동등 기회(EO) 및 혜택 제공(IA)이라는 두 가지 법적 형평성 개념을 기반으로 기준 예측을 정식화하기 위해.
• 기계 학습 모델을 훈련한 후에 EO 및 IA 형평성을 확보하기 위해 최소한의 영향을 미치는 알고리즘을 개발하기 위해.
• 기계 학습 모델의 형평성을 인과 모델에 기반시켜 데이터 분포 변화에 대해 강건하게 유지하기 위해.
• 입학, 소득, 신용, 재범 데이터셋을 대상으로 정확도와 형평성의 트레이드오프를 실증적으로 평가하기 위해.

제안 방법

• 민감한 속성(예: 인종, 성별)이 비민감한 속성(예: 시험 점수)과 결정에 영향을 주는 구조적 인과 모델을 제안한다.
• 동등 기회 형평성은 동일한 비민감한 속성을 가진 개인이지만 다른 민감한 속성을 가진 경우에 대해 기준 예측 확률이 동일한 것으로 정의한다.
• 혜택 제공 형평성은 민감한 속성에 대한 간섭을 통해 역사적 열악함을 보완하는 기준 예측으로 정의한다.
• 기준 결과가 민감 그룹 간에 동일한 조건 하에 예측 오차를 최소화함으로써 EO 형평성 예측기의 유도.
• EO 형평성 예측기를 기반으로 기준 예측을 조정하여 역사적으로 열악한 그룹을 우선시하는 인과 간섭을 통해 IA 형평성 예측기의 유도.
• 민감도 균형을 측정하기 위해 대칭 KL 발산을 사용하고, IA 형평성 예측기가 그룹 간 거의 0에 가까운 발산을 달성함을 검증한다.

실험 결과

연구 질문

• RQ1 기준 예측을 활용한 기반 기반 추론이 기계 학습 예측기에서 동등 기회 형평성을 정의하고 시행하는 데 사용될 수 있는가?
• RQ2 혜택 제공 형평성이 기준 예측 간섭을 통해 형식화되고 구현될 수 있는가? 이를 통해 역사적 열악함을 보완할 수 있는가?
• RQ3 제안된 EO 및 IA 형평성 알고리즘이 기존 방법(예: FairLearning 및 FTU)에 비해 정확도와 형평성 측면에서 어떻게 비교되는가?
• RQ4 형평성 기준을 충족시키면서도 예측 성능을 유지하는 데 얼마나 효과적인가?
• RQ5 통계적 형평성 정의에 비해 인과 프레임워크가 데이터 분포 변화에 대해 더 강건한가?

주요 결과

• EO 형평성 예측기는 0에 가까운 EO 지표(낮을수록 좋음)를 달성하였으며, FTU 및 FairLearning에 비해 EO 형평성에서 뛰어나면서도 다른 형평성 모델보다 높은 예측 정확도를 유지하였다.
• IA 형평성 예측기는 0에 가까운 IA 지표와 거의 0에 가까운 대칭 KL 발산을 달성하여 민감도 균형을 보였으며, FTU 및 FairLearning에 비해 형평성과 정확도 양면에서 뛰어났다.
• 독일 신용 데이터셋에서 IA 형평성 예측기는 64.3의 예측 점수를 기록하여 FairLearning(63.5) 및 FTU(63.4)를 초월했으며, 거의 0에 가까운 IA 및 KL 지표를 유지하였다.
• 어덜트 소득 데이터셋에서 IA 형평성 예측기는 대칭 KL 발산 7.8을 기록하여 FTU(15.6) 및 전통적 기계 학습(18.6)보다 유의미하게 낮아 민감도 균형이 더 우수함을 나타냈다.
• 기준 예측 결과는 IA 형평성 예측기가 백인과 비백인 개인에게 거의 동일한 결정 분포를 생성함을 보여주어 민감도 균형을 달성하였다.
• EO 형평성 예측기는 독일 신용 데이터셋에서 64.5의 높은 예측 성능을 유지하면서도 완벽한 EO 형평성을 달성하여 다른 형평성 모델에 비해 정확도에서 뛰어났다.