[논문 리뷰] Demographic Parity: Mitigating Biases in Real-World Data

Orestis Loukas, Ho‐Ryun Chung|arXiv (Cornell University)|2023. 09. 27.

Insurance, Mortality, Demography, Risk ManagementSocial Sciences인용 수 3

한 줄 요약

이 논문은 실세계 데이터셋의 편향을 제거하기 위해 모델에 종속되지 않고 수학적으로 엄밀한 방법인 PUR(Demographic Parity, Utility, and Realism)를 제안한다. 이 방법은 타당성 있는 분포를 유지하면서도 인구 통계적 평등성을 보장하는 渐近적 공정 분포를 유도한다. 이 접근법은 반복 비례 적합(Iterative Proportional Fitting, IPF)을 사용하여 학습 데이터를 공정한 분포로 투영하며, 이를 통해 생성된 합성 데이터로 분류기를 훈련하면 직접적 및 간접적 편향이 모두 제거된다. UCI Adult 데이터셋에서 검증된 결과, 예측 결과에서 거의 완벽한 인구 통계적 평등성이 확보되었다.

ABSTRACT

Computer-based decision systems are widely used to automate decisions in many aspects of everyday life, which include sensitive areas like hiring, loaning and even criminal sentencing. A decision pipeline heavily relies on large volumes of historical real-world data for training its models. However, historical training data often contains gender, racial or other biases which are propagated to the trained models influencing computer-based decisions. In this work, we propose a robust methodology that guarantees the removal of unwanted biases while maximally preserving classification utility. Our approach can always achieve this in a model-independent way by deriving from real-world data the asymptotic dataset that uniquely encodes demographic parity and realism. As a proof-of-principle, we deduce from public census records such an asymptotic dataset from which synthetic samples can be generated to train well-established classifiers. Benchmarking the generalization capability of these classifiers trained on our synthetic data, we confirm the absence of any explicit or implicit bias in the computer-aided decision.

연구 동기 및 목표

• 고위험 분야(예: 채용 및 범죄 처벌)에서 AI 의사결정 시스템으로 퍼져나가는 직접적 및 간접적 편향을 해결하기 위해.
• 모델 훈련과 분리된 편향 제거를 가능하게 하여 모델 독립적 공정성 보장을 제공하는 공정한 기계학습 프레임워크를 개발하기 위해.
• 실제 인구 조사 데이터에서 유도된 합성 데이터셋에서 인구 통계적 평등성을 강제하면서도 분류 유틸리티와 사회적 현실성을 유지하기 위해.
• 합성 데이터에서 유도된 분류기가 테스트 데이터에서 예측 결과에 대해 거의 영점의 편향을 보이는가를 입증하기 위해.

제안 방법

• 세 가지 핵심 제약 조건을 강제한다: 인구 통계적 평등성(보호 그룹 간 동일한 결과 분포), 분류 유틸리티(원래 클래스 관계의 유지), 사회적 현실성(예측자 관계의 충실한 표현).
• 반복 비례 적합(Iterative Proportional Fitting, IPF)을 사용하여 경험적 학습 분포를 모든 PUR 제약 조건을 만족하는 공정한 확률 분포로 투영한다.
• 원래 데이터 분포로부터 Kullback-Leibler 발산을 최소화하면서 PUR 제약 조건을 만족하는 공정한 분포를 유도함으로써 최소한의 왜곡을 보장한다.
• 재표본 추출을 사용하여 공정한 분포에서 합성 데이터셋을 생성하며, 원본 데이터의 크기와 구조를 유지한다.
• 이 방법은 UCI Adult 데이터셋에 적용되었으며, 공정한 분포를 사용하여 합성 데이터에서 랜덤 포레스트 분류기를 훈련시켰다.
• 테스트 데이터에서 보호 속성 간 성능을 비교하여 불균형 비율 지표를 사용해 결과 분류기의 공정성을 평가했다.

Figure 2: Attributable disparity over salary classes estimated by the prediction on simulated test data of information projection of train distributions under various conditions. Blue line denotes the estimate $p_{\textrm{pred}}(y|\mathbf{s}_{0})$ used as reference in 7 . The original data refers ba

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 방법이 분류 유틸리티나 현실성을 훼손하지 않고 실세계 데이터에서 인구 통계적 평등성을 달성할 수 있는가?
• RQ2 보호되지 않은 예측자들을 통해 매개되는 간접적 편향은 단지 데이터 분포를 수정하는 것으로 어느 정도 제거될 수 있는가?
• RQ3 공정한 분포에서 유도된 합성 데이터로 훈련된 분류기는 편향된 실세계 데이터에서 테스트했을 때도 공정성을 유지하는가?
• RQ4 기본선 편향 제거 방법과 비교해 PUR 프레임워크는 다양한 민감한 프로파일에서 인구 통계적 평등성을 얼마나 잘 유지하는가?

주요 결과

• PUR 투영에서 유도된 합성 데이터에서 보호 그룹 간(예: 남성/백인 대비 기타) 연봉 5만 달러 이상의 불균형 비율이 평균적으로 약 100%로 감소하여 거의 완벽한 인구 통계적 평등성을 나타냈다.
• PUR 투영에서 유도된 합성 데이터로 훈련된 분류기는 테스트 데이터에서 예측 결과에 대해 거의 영점의 편향을 유지했으며, 불균형 비율이 약 100% 주변을 뒤돌아가며 80% 이하로 떨어지지 않았다.
• p 투영(인구 통계적 평등성 전용)은 간접적 편향을 제거하지 못했으며, 이러한 데이터로 훈련된 분류기는 미해결된 혼동 요인 관계로 인해 재차 차별적 상관관계를 예측에 반영했다.
• pu 투영(유틸리티와 평등성 포함)은 p 전용보다 공정성 측면에서 향상되었지만, 유일하게 전체 PUR 투영—사회적 현실성을 통합한 것—만이 편향된 테스트 데이터에서 예측의 공정성을 일관되게 유지했다.
• 이 방법은 원본 데이터의 크기와 구조를 유지하면서도 공정성을 확보한 합성 데이터셋을 성공적으로 생성했으며, 직접적인 불균형 계산과 분류기 평가를 통해 이를 확인했다.
• 이 방법은 유한 표본 변동성에 대해 강건했으며, 평등성에서의 편차는 체계적 편향이 아닌 표본 노이즈로 인한 것이었다.

Figure 3: Natural predictor $p_{\textrm{pred}}(y|\mathbf{s})$ of the pur -projection of train distribution evaluated on simulated test data for all profiles in $\mathbf{S}$ . Blue line denotes $f(y)$ as computed from the empirical distribution of the original data.