[논문 리뷰] Bayesian Modeling of Intersectional Fairness: The Variance of Bias

James R. Foulds, Rashidul Islam외 2명|arXiv (Cornell University)|2018. 11. 18.

Gender Politics and Representation인용 수 4

한 줄 요약

이 논문은 다중 보호 속성에 걸쳐 데이터가 부족한 상황에서도 교차적 형평성을 신뢰성 있게 추정할 수 있는 베이지안 확률적 프레임워크를 제안한다. 계층적 베이지안 모델링과 변분 추론을 활용하여 형평성 지표에 대한 강력한 불확실성 추정을 제공하며, 특히 COMPAS 및 인구 조사 데이터셋과 같은 희소한 영역에서 경험적 추정치보다 뛰어난 성능을 보인다.

ABSTRACT

Intersectionality is a framework that analyzes how interlocking systems of power and oppression affect individuals along overlapping dimensions including race, gender, sexual orientation, class, and disability. Intersectionality theory therefore implies it is important that fairness in artificial intelligence systems be protected with regard to multi-dimensional protected attributes. However, the measurement of fairness becomes statistically challenging in the multi-dimensional setting due to data sparsity, which increases rapidly in the number of dimensions, and in the values per dimension. We present a Bayesian probabilistic modeling approach for the reliable, data-efficient estimation of fairness with multi-dimensional protected attributes, which we apply to two existing intersectional fairness metrics. Experimental results on census data and the COMPAS criminal justice recidivism dataset demonstrate the utility of our methodology, and show that Bayesian methods are valuable for the modeling and measurement of fairness in an intersectional context.

연구 동기 및 목표

• 인종, 성별, 국적과 같은 다중 상호작용 보호 속성에 걸쳐 형평성 측정 시 발생하는 데이터 희소성 문제를 다루기.
• 교차적 AI 형평성에서 불확실성의 양적 추정이 가능한 통계적으로 타당하고 자원 효율적인 방법 개발.
• 기존 방법이 통계적으로 신뢰할 수 없어 실패하는 소표본 교차 그룹에서의 경험적 확률 추정치의 한계를 극복하기.
• 범죄 정의와 같은 고위험 분야에서 기존 AI 시스템의 교차적 차별성에 대한 감사에 실용적이고 확장 가능한 프레임워크 제공.
• 데이터 부족 상황에서 신뢰성 있는 형평성 측정을 향상시키기 위해 계층적 베이지안 모델과 모델 평균화의 유용성 입증.

제안 방법

• 형평성 지표를 후행 분포를 가진 랜덤 변수로 모델링하는 베이지안 확률적 프레임워크 제안하여 불확실성 정량화 가능.
• empirical Bayes (EB), full Bayes (FB), 로지스틱 회귀 (LR), 딥 네ural 네트워크 (DNN)의 네 가지 통계 모델을 구현하고, 안정성 향상을 위한 새로운 계층적 베이지안 로지스틱 회귀 (HLR) 모델 도입.
• 모델 파라미터의 후행 분포를 근사하기 위해 변분 추론을 사용하여 대규모 희소 데이터셋에서의 확장 가능한 계산 가능.
• 모델 간 예측을 통합하여 안정성 향상과 형평성 추정치의 분산 감소를 위한 베이지안 모델 평균화 (BMA) 적용.
• 후행 예측 분포를 활용해 신뢰도가 높은 형평성 추정치를 생성하며, 차별적 형평성 (DF) 및 서브그룹 형평성 (SF) 등의 지표에 대해 신뢰구간 포함.
• 소표본 영역에서 추정 신뢰도를 추가로 향상시키기 위해 부트스트랩 리샘플링과 베이지안 추론 통합.

실험 결과

연구 질문

• RQ1 교차적 AI 형평성에서 다중 보호 속성에 걸쳐 데이터 희소성이 존재하는 상황에서 형평성이 어떻게 신뢰성 있게 측정될 수 있는가?
• RQ2 교차 그룹이 작거나 소수일 경우, 어떤 베이지안 모델링 접근 방식이 가장 안정적이고 정확한 형평성 지표 추정을 제공하는가?
• RQ3 베이지안 추론을 통한 불확실성 통합이 경험적 확률 추정치에 비해 형평성 측정에 얼마나 향상되는가?
• RQ4 실제 데이터셋인 COMPAS 및 UCI Adult 인구 조사 데이터셋에서 다양한 베이지안 모델들(예: HLR, DNN, LR) 간 성능 비교는 어떻게 이루어지는가?
• RQ5 베이지안 모델 평균화가 희소 데이터 영역에서 교차적 형평성 추정의 안정성과 신뢰도를 향상시키는가?

주요 결과

• 희소 데이터에서 형평성 지표 추정에 있어 계층적 베이지안 로지스틱 회귀 (HLR-FB) 모델이 다른 모델들보다 일관되게 뛰어난 성능을 보이며, 전체 데이터 기준 진정값과의 L1 편차가 가장 낮았다.
• COMPAS 데이터셋의 1% 서브샘플에서 HLR-FB는 γ-SF에 대해 L1 편차 0.393, ε-DF에 대해 0.015를 기록하여 높은 정확도와 낮은 불확실성 확보.
• 모든 베이지안 모델, 특히 FB 변종이 경험적 확률(PE) 추정치보다 유의미하게 낮은 L1 편차를 보이며, 희소 설정에서의 신뢰성 향상을 입증.
• HLR-FB 모델은 COMPAS 시스템이 ε-DF 기준 약 0.5의 편향을 증폭시킨다고 예측하였으며, 95% 신뢰구간은 0.35에서 0.65 사이로, 편향 증폭에 강력한 증거 제시.
• 후행 예측 분포는 법적 기준인 80% 규칙의 임계값 0.2231를 초과하는 값에 대해 높은 확률을 부여하여, 진짜 재범 여부와 COMPAS 예측 모두에서 상당한 차별적 영향의 증거 확인.
• 베이지안 모델 평균화가 안정성을 향상시켰지만, 성능 면에서 HLR-FB 모델을 뛰어넘지는 못해, HLR-FB 모델이 교차적 형평성 추정에 있어 강력한 독립적 선택지임을 시사.