[논문 리뷰] Improving Fairness of AI Systems with Lossless De-biasing

Yan Zhou, Murat Kantarcıoğlu외 1명|arXiv (Cornell University)|2021. 05. 10.

Ethics and Social Impacts of AI참고 문헌 11인용 수 6

한 줄 요약

이 논문은 기존 데이터의 의미를 손상시키지 않고 합성 데이터 생성을 통해 소수 집단을 과잉 표본화함으로써 정보 손실이 없는 탈편향 기법을 제안한다. 이 방법은 클래스 불균형을 완화시켜 공정성과 정확도를 동시에 향상시키며, 다양한 실세계 데이터셋에서 기존의 전처리, 내재, 후처리 기법들을 능가한다.

ABSTRACT

In today's society, AI systems are increasingly used to make critical decisions such as credit scoring and patient triage. However, great convenience brought by AI systems comes with troubling prevalence of bias against underrepresented groups. Mitigating bias in AI systems to increase overall fairness has emerged as an important challenge. Existing studies on mitigating bias in AI systems focus on eliminating sensitive demographic information embedded in data. Given the temporal and contextual complexity of conceptualizing fairness, lossy treatment of demographic information may contribute to an unnecessary trade-off between accuracy and fairness, especially when demographic attributes and class labels are correlated. In this paper, we present an information-lossless de-biasing technique that targets the scarcity of data in the disadvantaged group. Unlike the existing work, we demonstrate, both theoretically and empirically, that oversampling underrepresented groups can not only mitigate algorithmic bias in AI systems that consistently predict a favorable outcome for a certain group, but improve overall accuracy by mitigating class imbalance within data that leads to a bias towards the majority class. We demonstrate the effectiveness of our technique on real datasets using a variety of fairness metrics.

연구 동기 및 목표

• 특권을 가진 민족적 집단에 과도하게 기울어지는 알고리즘 편향을 해결하기 위해.
• 데이터 변환 또는 왜곡을 통해 정보 손실을 유발하는 기존 탈편향 기법의 한계를 극복하기 위해.
• 소수 집단의 클래스 불균형을 대응함으로써 정확도를 희생시키지 않고 공정성을 향상시키기 위해.
• 원본 데이터의 사전 확률을 유지하면서도 불리한 집단의 표현을 강화하는 합성 데이터 생성 방법을 개발하기 위해.
• 다양한 데이터셋을 대상으로 다수의 공정성 지표를 사용해 방법을 실증적으로 검증하기 위해.

제안 방법

• 기본 확률 차이가 유리한 예측이 발생하는 영역을 특정하여, 학습 데이터 내에서 소수 집단을 과잉 표본화하기 위해 합성 데이터를 생성한다.
• 합성 데이터 생성 과정에서 원본 데이터 분포와 클래스 사전 확률을 유지함으로써 정보 손실을 방지한다.
• 편향 패턴에 따라 소수 집단 내에서 유리한 클래스 또는 특권 집단 내에서 불리한 클래스를 과잉 표본화하는 데 초점을 맞춘다.
• 기존 데이터의 통계적 성질을 유지하면서 소수 집단의 표현을 증가시키는 데이터 증강 전략을 사용해 합성 샘플을 생성한다.
• 학습 전 전처리 파이프라인에 적용되어 학습 알고리즘을 수정하지 않고도 공정성을 향상시킨다.
• 다양한 데이터셋에서 Theil 지수, 동등 기회 차이, 평균 오dds 차이 등의 공정성 지표를 사용해 기법을 평가한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성은 정보 손실 없이 AI 시스템의 공정성을 향상시킬 수 있는가, 동시에 정확도를 저하시키지 않는가?
• RQ2 소수 집단을 과잉 표본화하면 동등 기회 및 평균 오dds 차이와 같은 공정성 지표에 어떤 영향을 미치는가?
• RQ3 제안된 탈편향 기법은 기존의 전처리, 내재, 후처리 기법 대비 공정성과 정확도의 상호 보완적 관계에서 더 나은 성능을 보이는가?
• RQ4 소수 집단 내에서 유리한 클래스를 과잉 표본화하는 것이 특권 집단 내에서 불리한 클래스를 과잉 표본화하는 것보다 더 나은 공정성 결과를 얻는 상황는 어떤가?
• RQ5 기본 확률 차이를 효과적으로 완화하면서도 원본 데이터 분포를 유지할 수 있는가?

주요 결과

• 제안된 탈편향 기법은 모든 테스트 데이터셋에서 Reweighing, Prejudice Remover, Reject Option과 같은 기존 기법들을 공정성 지표에서 일관되게 능가한다.
• Compas 데이터셋에서, 이중 t-검정에서 p-값 < 0.002로 공정성 향상이 유의미했으며, 기준 모델과 정확도의 차이가 3% 이내를 유지했다.
• Bank 데이터셋에서는 공정성 향상에 가장 효과적이었으며, Prejudice Remover를 뚜렷이 능가했고, Reject Option과 유사한 공정성 성능를 보였지만 정확도 감소와 분산이 훨씬 적었다.
• 의료 비용 가격 데이터셋에서는 Reweighing, Prejudice Remover, Reject Option과 비교해 성능이 같거나 뛰어나, 특히 Theil 지수와 동등 기회 차이에서 두드러진 성능을 보였다.
• 소수 집단 내에서 유리한 클래스와 특권 집단 내에서 불리한 클래스를 모두 과잉 표본화한 병합 케이스는 중간 결과를 보였으며, 이는 기법의 유연성과 강건성을 확인한다.
• 로지스틱 회귀, 랜덤 포레스트, SVM, 신경망을 포함한 다양한 모델에 대해 강력한 일반화 성능를 보였으며, 모든 모델에서 일관된 공정성 향상이 관찰되었다.