[논문 리뷰] Fair Regression: Quantitative Definitions and Reduction-based Algorithms

Alekh Agarwal, Miroslav Dudı́k외 1명|arXiv (Cornell University)|2019. 05. 30.

Ethics and Social Impacts of AI참고 문헌 31인용 수 63

한 줄 요약

이 논문은 통계적 평등(statistical parity)과 경계된 그룹 손실(bounded group loss) 하에서 공정 회귀를 정의하고, 공정 회귀를 표준 학습 문제로 환원하는 이론적 보장을 가진 감소 기반(reduction-based) 알고리즘을 제시한다.

ABSTRACT

In this paper, we study the prediction of a real-valued target, such as a risk score or recidivism rate, while guaranteeing a quantitative notion of fairness with respect to a protected attribute such as gender or race. We call this class of problems \emph{fair regression}. We propose general schemes for fair regression under two notions of fairness: (1) statistical parity, which asks that the prediction be statistically independent of the protected attribute, and (2) bounded group loss, which asks that the prediction error restricted to any protected group remain below some pre-determined level. While we only study these two notions of fairness, our schemes are applicable to arbitrary Lipschitz-continuous losses, and so they encompass least-squares regression, logistic regression, quantile regression, and many other tasks. Our schemes only require access to standard risk minimization algorithms (such as standard classification or least-squares regression) while providing theoretical guarantees on the optimality and fairness of the obtained solutions. In addition to analyzing theoretical properties of our schemes, we empirically demonstrate their ability to uncover fairness--accuracy frontiers on several standard datasets.

연구 동기 및 목표

• 회귀 설정에서 양적 공정성의 개념을 사용하여 실제 값 타깃의 예측을 목표로 하는 동기를 부여한다.
• 회귀 작업에 대해 두 가지 공정성 개념—통계적 평등(statistical parity)과 경계된 그룹 손실(bounded group loss)—을 정의한다.
• 표준 리스크 최소화, 분류 또는 회귀 오라클을 활용하는 감소 기반 알고리즘을 개발한다.
• Lipschitz 손실과 제한된 모델 클래스에 대한 최적성, 공정성 및 일반화에 대한 이론적 보장을 제공한다.
• 회귀 작업 전반의 표준 데이터셋에서 공정성-정확도 트레이드를 실증적으로 시연한다.

제안 방법

• Lipschitz 손실과 보호 속성들을 갖는 공정 회귀를 위한 일반 프레임워크.
• 두 가지 알고리즘 환원: (i) SP에 대한 비용 민감 분류로의 환원; (ii) 각 그룹 제약을 갖는 가중 손실 최소화로의 환원.
• 정확도 보장을 유지하면서 유한한 제약 집합을 만들기 위해 예측 공간의 이산화(discretization).
• 공정성-정확도 트레이드를 개선하기 위한 무작위 예측기 사용.
• 가중 손실하의 위험 최소화, 가중 최소제곱법, 또는 비용 민감 분류로의 환원 등 표준 학습 오라클로의 환원.
• 연산 효율성, 일반화 오차, 공정성 위반에 대한 이론적 경계 제시.

실험 결과

연구 질문

• RQ1 표준 학습 파이프라인을 사용하여 regression에서 통계적 평등을 유지하면서 예측 정확도를 가까이 유지할 수 있는가?
• RQ2 가중 학습 문제나 제약 학습 문제로의 환원을 통해 회귀에서 경계된 그룹 손실을 달성할 수 있는가?
• RQ3 이 환원을 통해 공정 회귀를 해결할 때의 이론적 보장(비용, 일반화, 공정성 위반)은 무엇인가?
• RQ4 이산화 및 무작위 예측기가 임의의 Lipschitz 손실 및 모델 클래스에 대해 공정 회귀를 계산 가능하게 하는가?
• RQ5 표준 데이터셋에서 이러한 공정 회귀 방법이 공정성-정확도 프런티어를 어떻게 나타내는가?

주요 결과

• 공정 회귀는 SP 또는 BGL 제약을 사용하면서도 표준 리스크 최소화 오라클로 형식화될 수 있다.
• SP는 예측 공간을 이산화하고 유한 제약으로 환원하여 비용 민감 분류로 처리된다.
• BGL은 각 그룹의 손실 한계와 함께 가중 손실 최소화 문제로 환원하여 처리된다.
• Lipschitz 손실과 제한된 복잡도 클래스에 대해 손실, 공정성 위반 및 일반화에 대한 이론적 보장을 제공한다.
• 최소자승 및 로지스틱 회귀에 대해 선형 및 트리 앙상블 학습자 간의 공정성-정확도 프런티어를 보여주는 실험적 결과가 있다.
• 프레임워크는 무작위 예측기를 지원하여 보장을 희생하지 않으면서 트레이드오프를 개선한다.