[논문 리뷰] Fair Balance: Mitigating Machine Learning Bias Against Multiple Protected Attributes With Data Balancing.

Zhe Yu|arXiv (Cornell University)|2021. 07. 17.

Ethics and Social Impacts of AI참고 문헌 11인용 수 6

한 줄 요약

이 논문은 FairBalance를 제안하며, 이는 훈련 데이터 분포를 균형 잡는 방식으로 다중 보호 속성(예: 인종과 성별)에 걸쳐 편향을 완화하는 데이터 균형 조정 기법이다. 편향이 없는 레이블 하에서 FairBalance는 AOD, EOD, SPD와 같은 공정성 지표를 크게 감소시키며 모델 성능을 떨어뜨리지 않는다.

ABSTRACT

This paper aims to improve machine learning fairness on multiple protected at-tributes. Machine learning fairness has attracted increasing attention since machine learning models are increasingly used for high-stakes and high-risk decisions. Most existing solutions for machine learning fairness only target one protected attribute(e.g. sex) at a time. These solutions cannot generate a machine learning model which is fair against every protected attribute (e.g. both sex and race) at the same time. To solve this problem, we propose FairBalance in this paper to balance the distribution of training data across every protected attribute before training the machine learning models. Our results show that, under the assumption of unbiased ground truth labels, FairBalance can significantly reduce bias metrics (AOD, EOD, and SPD) on every known protected attribute without much, if not any damage to the prediction performance.

연구 동기 및 목표

• 기존의 공정성 기법들이 한 번에 하나의 보호 속성만 다루는 데서 발생하는 격차를 해소하기 위해.
• 인종과 성별과 같은 다중 보호 속성에 대해 동시에 편향을 완화할 수 있는 방법을 개발하기 위해.
• 공정성 향상이 모델 예측 성능을 손상시키지 않도록 보장하기 위해.
• 모든 보호 속성에 걸쳐 훈련 데이터 분포를 균형 잡아 차별적 영향을 감소시키기 위해.

제안 방법

• 모든 보호 속성 조합의 표현을 훈련 데이터에서 균형 잡기 위해 데이터 균형 조정 기법을 적용하기 위해.
• 균형 조정 과정을 안내하기 위해 편향이 없는 진짜 레이블 가정을 사용하기 위해.
• 모델 결과에서 보호 속성 간의 격차를 최소화하기 위해 훈련 데이터 분포를 조정하기 위해.
• 균형 조정 과정이 전체 데이터 품질과 모델 유용성을 유지하도록 보장하기 위해.
• 아키텍처 변경 없이도 표준 머신 러닝 훈련 파이프라인에 균형 잡힌 데이터를 통합하기 위해.

실험 결과

연구 질문

• RQ1 단일 데이터 균형 조정 방법이 동시에 여러 보호 속성에 걸쳐 편향을 효과적으로 감소시킬 수 있는가?
• RQ2 훈련 데이터 분포를 균형 잡는 것이 모든 보호 속성에 걸쳐 AOD, EOD, SPD와 같은 공정성 지표를 향상시키는가?
• RQ3 제안된 방법이 모델 예측 성능을 어느 정도 유지하거나 떨어뜨리는가?
• RQ4 편향이 없는 진짜 레이블 가정 하에서 FairBalance는 어떻게 성능을 발휘하는가?

주요 결과

• FairBalance는 모든 보호 속성에 걸쳐 평균 오dds 차이(AOD)를 크게 감소시킨다.
• FairBalance는 모든 보호 속성에 대해 평등 기회 차이(EOD)를 상당히 낮춘다.
• FairBalance는 모든 보호 속성에 걸쳐 통계적 평등성 차이(CPD)를 뚜렷이 감소시킨다.
• 성능 저하를 유발하지 않으면서도 모델 예측 성능을 유지하거나 향상시킨다.