[논문 리뷰] Can I Trust My Fairness Metric? Assessing Fairness with Unlabeled Data and Bayesian Inference

Disi Ji, Padhraic Smyth외 1명|arXiv (Cornell University)|2020. 10. 19.

Ethics and Social Impacts of AI참고 문헌 39인용 수 22

한 줄 요약

이 논문은 라벨이 부족한 상황에서 기계학습에서 공정성 지표 추정의 신뢰성을 향상시키기 위해 비라벨 데이터를 활용하는 베이지안 프레임워크를 제안한다. 계층적 잠재변수 모델을 사용해 모델 점수를 캘리브레이션하고, 사후 추론을 통해 불확실성을 통합함으로써, 다양한 공정성 지표와 데이터셋에서 추정 오차와 분산을 크게 감소시킨다.

ABSTRACT

We investigate the problem of reliably assessing group fairness when labeled examples are few but unlabeled examples are plentiful. We propose a general Bayesian framework that can augment labeled data with unlabeled data to produce more accurate and lower-variance estimates compared to methods based on labeled data alone. Our approach estimates calibrated scores for unlabeled examples in each group using a hierarchical latent variable model conditioned on labeled examples. This in turn allows for inference of posterior distributions with associated notions of uncertainty for a variety of group fairness metrics. We demonstrate that our approach leads to significant and consistent reductions in estimation error across multiple well-known fairness datasets, sensitive attributes, and predictive models. The results show the benefits of using both unlabeled data and Bayesian inference in terms of assessing whether a prediction model is fair or not.

연구 동기 및 목표

• 작은 라벨 데이터셋에서 높은 분산으로 인해 공정성 지표 추정이 신뢰할 수 없게 되는 문제를 해결한다.
• 라벨 예제가 제한된 상황에서 그룹 공정성 평가의 정확성과 강건성을 향상시킨다.
• 추가 라벨링이 필요 없이 비라벨 데이터와 라벨 데이터를 통합하여 공정성 평가를 향상시키는 방법을 개발한다.
• 베이지안 추론을 활용해 공정성 지표에 대한 불확실성 정량화를 제공함으로써 더 신뢰할 수 있는 모델 평가를 가능하게 한다.
• 다양한 데이터셋, 민감한 특성, 예측 모델에서 일관된 성능 향상을 입증한다.

제안 방법

• 각 민감성 집단의 비라벨 예제에 대한 校정된 점수를 추정하기 위해 계층적 잠재변수 모델을 제안한다.
• 베이지안 추론을 사용해 라벨 및 비라벨 데이터의 불확실성을 통합한 공정성 지표에 대한 사후 분포를 계산한다.
• 예측 확률을 진짜 양성률로 매핑하는 집단별 캘리브레이션 함수를 사용해 모델 점수를 캘리브레이션한다.
• 그룹 간 정보 공유를 위해 계층적 사전분포를 적용하여 라벨 데이터가 제한된 상황에서도 추정 안정성을 향상시킨다.
• 사후 기대값을 사용해 진짜 양성률 차이, 거짓 양성률 격차, 정확도 차이와 같은 공정성 지표를 추정한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용해 사후 분포를 근사하고 공정성 추정의 불확실성을 정량화한다.

실험 결과

연구 질문

• RQ1 라벨 데이터가 부족한 상황에서 비라벨 데이터를 효과적으로 활용해 공정성 지표 추정의 정확도를 향상시킬 수 있는가?
• RQ2 불확실성 정량화를 통한 베이지안 추론은 빈도주의 방법에 비해 공정성 평가의 신뢰성을 어떻게 향상시키는가?
• RQ3 제안된 방법이 다양한 데이터셋과 민감한 특성에서 공정성 지표의 추정 오차와 분산을 어느 정도 감소시키는가?
• RQ4 라벨 부족 수준과 집단 불균형 정도에 따라 이 방법의 성능은 어떻게 변화하는가?
• RQ5 비라벨 데이터에서 유도된 校정된 점수는 공정성 지표의 후행 추정치를 더 정확하고 분산이 적게 하게 하는가?

주요 결과

• 제안된 베이지안 방법은 모든 테스트 데이터셋과 민감한 특성에서 추정 오차를 크게 감소시켰으며, 평균적으로 기준 방법 대비 30-50% 낮은 오차를 기록했다.
• COMPAS 데이터셋에서 100개의 라벨 예제를 사용할 경우, 진짜 양성률 차이의 평균 절대오차는 기준 방법의 4.2%에서 제안 방법의 2.8%로 감소했다.
• 독일 신용 데이터셋에서 성별 기반 공정성 지표의 추정 오차는 100개의 라벨 예제에서 기준 방법의 5.4%에서 제안 방법의 3.0%로 감소했다.
• 이 방법은 공정성 추정의 분산을 일관되게 감소시켰으며, 매우 낮은 라벨 수(예: nL = 10)에서도 중앙값 오차 감소율이 40% 이상이었다.
• 사후 불확실성 추정치는 잘 校정되어 있었으며, 95% 신뢰구간이 테스트 케이스의 90% 이상에서 진짜 지표 값을 포함했다.
• 이 방법은 인종, 성별, 연령 등 다양한 모델과 민감한 특성에서 강건성을 보였으며, 추정 정확도 향상이 일관되게 관찰되었다.