[논문 리뷰] Fair Regression with Wasserstein Barycenters

Evgenii Chzhen, Christophe Denis외 3명|HAL (Le Centre pour la Communication Scientifique Directe)|2020. 06. 12.

Health Systems, Economic Evaluations, Quality of Life인용 수 17

한 줄 요약

이 논문은 민감 집단별 조건부 회귀 분포의 워셔스타인 바리센터로 최적의 예측기를 유도함으로써 인구 통계적 평등성을 보장하는 공정한 회귀 방법을 제안한다. 기존의 회귀 모델을 변환하는 후처리 알고리즘을 도입하여, 분포에 관계없이 공정성과 유한 샘플 리스크 보장을 달성하며, 오차 증가율이 공정성 향상보다 빠르게 성능을 떨어뜨리는 것을 초월한다.

ABSTRACT

We study the problem of learning a real-valued function that satisfies the Demographic Parity constraint. It demands the distribution of the predicted output to be independent of the sensitive attribute. We consider the case that the sensitive attribute is available for prediction. We establish a connection between fair regression and optimal transport theory, based on which we derive a close form expression for the optimal fair predictor. Specifically, we show that the distribution of this optimum is the Wasserstein barycenter of the distributions induced by the standard regression function on the sensitive groups. This result offers an intuitive interpretation of the optimal fair prediction and suggests a simple post-processing algorithm to achieve fairness. We establish risk and distribution-free fairness guarantees for this procedure. Numerical experiments indicate that our method is very effective in learning fair models, with a relative increase in error rate that is inferior to the relative gain in fairness.

연구 동기 및 목표

• 민감 집단에 대한 인구 통계적 평등성 제약 조건 하에서 공정한 실수 예측기 학습 문제를 해결하기 위해.
• 워셔스타인 바리센터를 통한 최적 운반 이론과 공정한 회귀 간의 이론적 연결 고리를 구축하기 위해.
• 기본 회귀기나 데이터 분포에 관계없이 공정성을 보장하는 후처리 방법을 개발하기 위해.
• 최소한의 가정 하에 제안된 방법에 대해 유한 샘플 리스크 경계와 분포에 관계없는 공정성 보장을 제공하기 위해.

제안 방법

• 최적의 공정한 예측기는 각 민감 집단에서 비공정한 회귀 함수에 의해 유도된 조건부 분포의 워셔스타인 바리센터로 유도된다.
• 기존의 회귀 함수에 대한 닫힌 형태의 변환을 사용한다: $ g^*(x,s) = p_s f^*(x,s) + (1-p_s) t^*(x,s) $, 여기서 $ t^* $ 는 그룹 간 순위를 일치시킨다.
• 보정 항 $ t^* $ 는 각 그룹의 비라벨 데이터에만 의존하는 경험적 누적분포함수를 사용하여 계산된다.
• 기본 회귀 함수를 추정한 후에 이 변환을 적용하는 후처리 절차를 제안하여, 재학습 없이도 공정성을 보장한다.
• 1차원 워셔스타인 거리의 편차 경계와 순위 통계의 성질을 활용하여 유한 샘플 리스크 보장을 도출한다.
• 이론적 분석은 최적 운반 이론, 순위 통계, 그리고 농도 불등식의 결과를 통합하여 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 활용하여 회귀 과제에서 인구 통계적 평등성을 어떻게 공식적으로 보장할 수 있는가?
• RQ2 인구 통계적 평등성 제약 조건 하에서 최적의 공정한 예측기의 해석적 형태는 무엇인가?
• RQ3 기본 추정기나 기초 데이터 분포에 관계없이 공정성을 보장하는 후처리 방법을 설계할 수 있는가?
• RQ4 최소한의 가정 하에 공정한 예측기의 유한 샘플 리스크 경계를 어떻게 유도할 수 있는가?
• RQ5 실제로 공정한 예측기의 오차는 공정성 향상에 비해 어떻게 비교되는가?

주요 결과

• 최적의 공정한 예측기는 집단별 회귀 분포의 워셔스타인 바리센터에 해당하며, 이는 공정성의 기하학적 해석을 제공한다.
• 제안된 후처리 방법은 분포에 관계없는 공정성을 달성하여, 데이터 분포나 기본 추정기의 종류에 관계없이 공정성이 보장된다.
• 유한 샘플 리스크 경계가 확립되었으며, 공정한 예측기의 기대 오차가 $ O(b_n^{-1/2} + extstylerac{1}{N^{1/2}}) $ 의 속도로 수렴함을 보여주며, 여기서 $ b_n $ 은 대역폭이고 $ N $ 은 표본 크기이다.
• 수치 실험을 통해 예측 오차의 상대적 증가율이 공정성 향상의 상대적 이득보다 항상 낮게 나타났다.
• 이 방법은 강건하고 확장 가능하며, 변환 단계에 라벨이 없는 데이터만 필요하고, 어떤 기성의 회귀 모델에도 적용 가능하다.