[논문 리뷰] Fair Classification and Social Welfare

Lily Hu, Yiling Chen|arXiv (Cornell University)|2019. 05. 01.

Ethics and Social Impacts of AI참고 문헌 34인용 수 4

한 줄 요약

이 논문은 기계학습 분류 문제를 사회적 복지 최적화 문제로 재구성하여, 공정성 제약 조건이 효용 결과와 연결됨을 제시한다. 더 엄격한 공정성 제약 조건—예를 들어, 평등 기반의 공정성—이 개인과 집단 모두의 총 복지를 감소시킬 수 있음을 보여주며, '더 공정한 것'이 항상 불리한 집단에 더 좋다는 가정에 도전한다.

ABSTRACT

Now that machine learning algorithms lie at the center of many resource allocation pipelines, computer scientists have been unwittingly cast as partial social planners. Given this state of affairs, important questions follow. What is the relationship between fairness as defined by computer scientists and notions of social welfare? In this paper, we present a welfare-based analysis of classification and fairness regimes. We translate a loss minimization program into a social welfare maximization problem with a set of implied welfare weights on individuals and groups--weights that can be analyzed from a distribution justice lens. In the converse direction, we ask what the space of possible labelings is for a given dataset and hypothesis class. We provide an algorithm that answers this question with respect to linear hyperplanes in $\mathbb{R}^d$ that runs in $O(n^dd)$. Our main findings on the relationship between fairness criteria and welfare center on sensitivity analyses of fairness-constrained empirical risk minimization programs. We characterize the ranges of $Δε$ perturbations to a fairness parameter $ε$ that yield better, worse, and neutral outcomes in utility for individuals and by extension, groups. We show that applying more strict fairness criteria that are codified as parity constraints, can worsen welfare outcomes for both groups. More generally, always preferring "more fair" classifiers does not abide by the Pareto Principle---a fundamental axiom of social choice theory and welfare economics. Recent work in machine learning has rallied around these notions of fairness as critical to ensuring that algorithmic systems do not have disparate negative impact on disadvantaged social groups. By showing that these constraints often fail to translate into improved outcomes for these groups, we cast doubt on their effectiveness as a means to ensure justice.

연구 동기 및 목표

• 기계학습의 공정성과 사회적 복지 경제학 간의 관계를 분석하는 것.
• 현재 제안된 공정성 제약 조건이 실제로 불리한 집단의 복지 결과를 향상시는지 조사하는 것.
• 손실 최소화를 사회적 복지 최대화로 변환하고 해석 가능한 복지 가중치를 제공하는 프레임워크를 개발하는 것.
• 공정성 제약 조건의 변화가 분류기 효용과 집단 결과에 미치는 영향을 특성화하는 것.
• 선형 초평면 분류기 하에서 가능한 모든 레이블링을 계산하는 알고리즘을 제공하여 복지의 상충 관계를 완전히 탐색할 수 있도록 하는 것.

제안 방법

• 개념적 위험 최소화를 사회기금의 문제로 재구성하여 개인 효용의 가중합을 최대화하는 것.
• 최적의 분류 결과에서 유도된 복지 가중치를 도출하여 분류기 결정을 사회적 자원 배분으로 해석할 수 있도록 하는 것.
• d차원 공간에서 선형 초평면에 대해 가능한 모든 레이블링을 계산하는 O(ndd) 알고리즘을 제안하는 것.
• 공정성 수용 범위 ϵ의 변화가 미치는 영향을 분석하기 위해 매개변수 프로그래밍과 민감도 분석을 적용하는 것.
• 라그랑주 승수와 그 sombra 가격을 사용하여 ϵ의 변화에 대한 공정성 제약 조건의 국소 민감도를 측정하는 것.
• 편미분 함수를 사용하여 복지 손실의 전역 하한을 유도하여 제약 조건의 강화 또는 완화에 대한 비대칭적 해석을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 기계학습에서의 공정성 제약 조건은 개인과 집단의 사회적 복지 결과와 어떻게 관련되어 있는가?
• RQ2 평등 기반 공정성과 같은 더 엄격한 공정성 제약 조건이 집단의 복지 결과를 악화시킬 수 있는가?
• RQ3 공정성 수용 범위 파arameter ϵ의 변화가 분류기 효용과 집단 복지에 어떤 영향을 미치는가?
• RQ4 주어진 가설 클래스와 데이터셋 하에서 가능한 모든 레이블링을 체계적으로 계산할 수 있는가?
• RQ5 공정성 지표가 실제로 개인과 집단 복지 향상과 얼마나 잘 일치하는가?

주요 결과

• 평등 기반 제약 조건으로 구체화된 더 엄격한 공정성 제약 조건은 개인과 집단 모두의 복지 결과를 악화시킬 수 있으며, 이는 '더 공정한 것'이 항상 더 좋다는 가정과 모순된다.
• 공정성 파arameter ϵ을 강화함(즉, 제약 조건을 더 엄격하게)함으로써 학습자 손실이 증가하고, 불리한 집단의 결과가 향상된다는 보장이 없다.
• 공정성 제약 조건의 색다운 가격이 높을 경우, ϵ을 강화하면 복지 손실이 크게 증가하여 높은 상충 관계를 나타낸다.
• 색다운 가격이 낮을 경우 공정성 제약 조건을 완화하면 손실 감소 폭이 작아져 제약 조건 변화에 대한 비대칭적 민감도를 시사한다.
• 손실 최소화 기준으로 최적의 분류기는 특정 집합의 암묵적 복지 가중치 하에서 복지 최대화 배분에 해당하며, 이 가중치는 모델 예측에서 유도할 수 있다.
• 초기 비영일 ϵ-공정 해를 기반으로 하더라도, ∆ϵ < 0 인 편미분을 통해 공정성 제약 조건을 더 강화하면 분류기 성능이 크게 악화될 수 있다.