[논문 리뷰] From Parity to Preference-based Notions of Fairness in Classification

Muhammad Bilal Zafar, Isabel Valera외 3명|arXiv (Cornell University)|2017. 06. 30.

Experimental Behavioral Economics Studies인용 수 106

한 줄 요약

이 논문은 이진 분류에 대한 선호 기반 공정성 개념—preferred treatment와 preferred impact—을 제시하며, envy-freeness와 bargaining에서 영감을 받고, parity-based fairness보다 정확도를 개선하기 위한 볼록 대리(proxy)들을 제시하고 오픈 소스 코드를 제공한다.

ABSTRACT

The adoption of automated, data-driven decision making in an ever expanding range of applications has raised concerns about its potential unfairness towards certain social groups. In this context, a number of recent studies have focused on defining, detecting, and removing unfairness from data-driven decision systems. However, the existing notions of fairness, based on parity (equality) in treatment or outcomes for different social groups, tend to be quite stringent, limiting the overall decision making accuracy. In this paper, we draw inspiration from the fair-division and envy-freeness literature in economics and game theory and propose preference-based notions of fairness -- given the choice between various sets of decision treatments or outcomes, any group of users would collectively prefer its treatment or outcomes, regardless of the (dis)parity as compared to the other groups. Then, we introduce tractable proxies to design margin-based classifiers that satisfy these preference-based notions of fairness. Finally, we experiment with a variety of synthetic and real-world datasets and show that preference-based fairness allows for greater decision accuracy than parity-based fairness.

연구 동기 및 목표

• 분류에서 parity-based fairness의 완화를 통해 그룹 선호를 허용하도록 동기를 부여한다.
• envy-freeness와 bargaining 개념에 기반하여 two notions—preferred treatment와 preferred impact—을 형식화한다.
• 이 개념들 하에서 그룹 조건부 분류기를 훈련시키기 위한 처리 가능한 볼록 근사(DCCP)를 개발한다.
• 실제 및 합성 데이터에서 선호 기반 공정성이 parity-based 공정성에 비해 더 높은 정확도를 낼 수 있음을 실증적으로 입증한다.

제안 방법

• 품질 지표를 정의한다: 유틸리티(전반적인 정확도)와 민감한 그룹에 대한 그룹 혜택.
• preferred treatment와 preferred impact를 envy-free 및 Pareto-dominance 스타일의 기준으로 그룹에 대해 형식화한다.
• ramp/hinge-like 제약을 가진 그룹 조건부 분류기를 훈련시키기 위한 convex-concave program (DCCP) 완화들을 제안한다.
• 볼록 로지스틱 회귀 및 SVM 경계로 구체화한다; 그룹 혜택 제약을 갖는 학습 문제를 도출한다.
• 이 스킴의 오픈 소스 구현을 제공한다.
• 비선형 분류기에의 확장과 Appendix 기반 일반화를 논의한다.

실험 결과

연구 질문

• RQ1 parity를 선호 기반 개념으로 완화하는 것이 공정성 특성을 희생하지 않으면서 전체 정확도를 향상시킬 수 있는가?
• RQ2 preferred treatment 또는 preferred impact를 만족하는 그룹 조건부 분류기를 어떻게 효율적으로 학습시킬 수 있는가?
• RQ3 실제 데이터셋(COMPAS, Adult, NYPD SQF)이 parity-based 방법과 비교하여 선호 기반 공정성으로 혜택을 얻는가?

주요 결과

• 선호 기반 공정성은 합성 및 실제 데이터에서 종종 parity-based 공정성보다 더 높은 정확도를 산출한다.
• preferred treatment는 parity보다 더 저비용으로도 그룹별 조건 분류기에서 공정성과 정확도 간의 좋은 타협을 가능하게 한다.
• preferred impact는 parity보다 더 작은 정확도 손실로 더 나은 그룹 혜택을 달성하며 데이터에 따라 이익이 달라진다.
• combined preferred treatment와 preferred impact는 개별 개념의 이점을 상쇄하거나 능가할 수 있지만, 때로는 데이터에 따라 더 큰 정확도 비용이 필요하다.