[논문 리뷰] Wasserstein Fair Classification

Ray Jiang, Aldo Pacchiano외 3명|arXiv (Cornell University)|2019. 07. 28.

Ethics and Social Impacts of AI참고 문헌 44인용 수 38

한 줄 요약

공정한 분류를 제안하는 방법으로, Wasserstein-1 거리를 바이어센터(barycenter)로 사용하여 모델 출력과 민감 속성 간 독립성을 강제하고, 페널티 로지스틱 회귀와 빠른 포스트-프로세싱 변형을 통해 공정성 벤치마크에서 실증적 이익을 보여줌.

ABSTRACT

We propose an approach to fair classification that enforces independence between the classifier outputs and sensitive information by minimizing Wasserstein-1 distances. The approach has desirable theoretical properties and is robust to specific choices of the threshold used to obtain class predictions from model outputs. We introduce different methods that enable hiding sensitive information at test time or have a simple and fast implementation. We show empirical performance against different fairness baselines on several benchmark fairness datasets.

연구 동기 및 목표

• 분류에서 공정성의 필요성과 임계값 기반 독립성의 한계에 대한 동기를 부여합니다.
• 모델 출력 S와 민감 속성 A 간의 독립성(SDP)을 기반으로 한 공정성 기준을 도입합니다.
• Wasserstein-1 거리를 바이어센터로서의 최적 전송 기반 메커니즘으로 SDP를 달성하는 것을 형식화합니다.
• 실무에서 SDP를 강제로 적용하기 위한 두 가지 실용적 방법(페널티 로지스틱 회귀 및 포스트 프로세싱)을 제공합니다.
• 벤치마크 데이터셋에서 공정성 기준선 대비 실증적 개선을 보여줍니다.

제안 방법

• S라는 믿음 변수는 A와 X를 고려했을 때 Y=1일 확률로 모델의 출력으로 정의합니다.
• SDP를 제안하고, p_Sa = p_Sbar for all sensitive groups a, via Wasserstein-1 barycenter p_Sbar를 만족하도록 합니다.
• Wasserstein-1을 이용해 그룹 분포 p_Sa를 p_Sbar로 운반하는 것이 SDP를 달성하는 최적의 포스트프로세싱이며, 원래 예측의 변경을 최소화합니다.
• Wasserstein-1 페널티 로지스틱 회귀 목적 함수를 개발하고, 일반 로지스틱 손실에 그룹 분포와 바이어센터 간의 W1 항을 추가합니다(가중치 및 테스트 시 변형 포함).
• 민감 속성을 테스트 시 특징에 포함하지 않되, W1 페널티를 계산하는 데만 사용되는 인구통계적으로 차별화되지 않는 변형을 제공합니다.
• 대략적인 W1 전송(분위수 매칭)에 기반한 간단한 포스트프로세싱 방법을 제공합니다.

실험 결과

연구 질문

• RQ1 classifier 출력과 민감 속성 간의 독립성을 고정 임계값을 넘어 어떻게 강제할 수 있는가?
• RQ2 Wasserstein-1 거리로 바이어센터(SDP)에 도달하는 것이 예측 변화 최소화와 공정성 달성 사이에서 최적인가?
• RQ3 실용적이고 확장 가능한 방법들(penalized logistic regression 및 post-processing)이 예측 유용성의 손실을 최소화하면서 강력한 인구통계적 평등을 실현할 수 있는가?
• RQ4 Wasserstein 기반의 공정성 방법이 벤치마크 데이터셋에서 표준 기준선에 비해 실증적으로 어떤 성능을 보이는가?

주요 결과

• Wasserstein-1 바이어센터 전송은 원래 예측에 대한 변경을 최소화하면서 그룹 출력 분포를 정렬해 SDP를 달성합니다.
• 최적성: 모든 그룹 분포를 W1 바이어센터로 운반하는 것이 총 기대 클래스 예측 변경을 최소화합니다.
• 민감 속성 없이도 배포 시 효과적인 테스트 시 변형이 가능해집니다.
• 두 가지 실용적 구현(페널티 로지스틱 회귀 및 포스트프로세싱)은 벤치마크 데이터셋에서 여러 공정성 기준에 비해 우수한 성능을 보입니다.
• 다수의 데이터셋(예: Adult, German, Bank Marketing, Community & Crime)에서 공정성 지표에 대해 방법의 경쟁력을 보여주는 실증 결과가 제시됩니다.
• 이 방법은 엄격한 포스트프로세싱 옵션과 학습 시 페널티 접근법을 모두 제공하여 배포 맥락에 유연성을 제공합니다.