[논문 리뷰] Obtaining fairness using optimal transport theory

Eustasio del Barrio, Fabrice Gamboa외 2명|arXiv (Cornell University)|2018. 06. 08.

Game Theory and Voting Systems참고 문헌 11인용 수 54

한 줄 요약

본 논문은 공정성 정의(DI)와 BER를 분석하고, 최적 운송을 통한 Wasserstein barycenter를 활용한 데이터 수리 방법을 제안하여 이진 분류기에 대해 통계적 동등성 또는 부분적 공정성을 달성한다.

ABSTRACT

Statistical algorithms are usually helping in making decisions in many aspects of our lives. But, how do we know if these algorithms are biased and commit unfair discrimination of a particular group of people, typically a minority? extit{Fairness} is generally studied in a probabilistic framework where it is assumed that there exists a protected variable, whose use as an input of the algorithm may imply discrimination. There are different definitions of Fairness in the literature. In this paper we focus on two of them which are called Disparate Impact (DI) and Balanced Error Rate (BER). Both are based on the outcome of the algorithm across the different groups determined by the protected variable. The relationship between these two notions is also studied. The goals of this paper are to detect when a binary classification rule lacks fairness and to try to fight against the potential discrimination attributable to it. This can be done by modifying either the classifiers or the data itself. Our work falls into the second category and modifies the input data using optimal transport theory.

연구 동기 및 목표

• 공정성 개념(DI)과 BER의 관계와 보호 속성의 예측 가능성 사이의 관계를 평가한다.
• 정답 라벨에 접근하지 않고도 공정한 분류기를 얻기 위한 최적 운송 기반의 확률적 데이터 수리 프레임워크를 개발한다.
• Wasserstein barycenters를 통한 전체 수리와 부분 수리의 정당화 및 구현을 수행한다.
• 정보 손실과 공정성 간의 균형을 맞추는 Random Repair의 거래-off를 탐구한다.

제안 방법

• Disparate Impact(DI)와 BER를 정의하고 이를 보호 속성 S의 예측 가능성과 관련지어 설명한다.
• 조건 분포 L(X|S=s)을 공통 목표로 매핑하는 Wasserstein 거리 기반의 확률적 데이터 수리 프레임워크를 제시한다.
• S에 따른 X의 공통 분포를 얻기 위해 Wasserstein barycenters를 도입하여 Statistical Parity를 가능하게 한다.
• 전체 수리(두 그룹을 barycenter로 매핑)와 부분 수리(지오데식 보간으로 barycenter를 향한) 스킴을 도출한다.
• 수리 기반의 이점과 학습 가능성에 대한 이론적 경계(상한/하한)를 제시한다.
• 정보 손실과 공정성의 균형을 맞추는 또 다른 대안으로 Random Repair를 논의한다.

실험 결과

연구 질문

• RQ1 DI와 BER가 보호 속성의 예측 가능성을 통해 어떻게 연관되어 있는가?
• RQ2 최적 수송을 통한 데이터 수리가 DI를 감소시키면서 예측력을 보존할 수 있는가?
• RQ3 보호 속성에 따라 조건부 분포를 수리하는 데 Wasserstein barycenter가 적합한 대상인 이유는 무엇인가?
• RQ4 수리된 데이터로 학습한 분류기의 이론적 보장(위험 상한)은 원래 데이터를 사용할 때보다 어떤 차이가 있는가?
• RQ5 전체 수리와 부분 수리가 정보 손실 대비 공정성 측면에서 어떤 차이를 보이는가?

주요 결과

• DI는 X의 S에 따른 조건부 분포 간의 총 변이 거리(TV 거리)와 연관되어 있으며, TV 거리가 작아질수록 S의 예측 가능성이 낮아진다.
• 데이터를 Wasserstein barycenter로 수리하면 L(X˜ | S=0)과 L(X˜ | S=1)을 같게 하여 Statistical Parity를 달성할 수 있다.
• 최소 수리는 두 그룹 모두를 barycenter의 대상 분포로 맞추는 방식으로 이루어지며, 전체 수리는 DI=1과 최대 공정성을 얻는다.
• 부분 수리를 통해 공정성과 예측 정확도 간의 균형을 맞추는 조정 파라미터 λ를 허용한다.
• 수리로 인한 초과 위험은 ηs의 Lipschitz 상수와 barycenter까지의 W2 거리와 관련된 이론적 경계로 표현된다.
• Random Repair는 정보 손실과 공정성 사이의 트레이드오프를 제시하는 또 다른 전략이다.