[논문 리뷰] A statistical framework for fair predictive algorithms

Kristian Lum, James E. Johndrow|arXiv (Cornell University)|2016. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 57

한 줄 요약

이 논문은 조건부 모델링을 통해 보호되는 변수(예: 인종)로부터의 독립성을 달성하기 위해 공변량을 변환하는 통계적 프레임워크를 제안한다. 연쇄적인 조건부 모델—누적분포함수 기반 변환을 적용함으로써 예측이 보호된 특성에 독립적이면서도 예측 정확도를 유지함을 보장한다. 실질적으로 인종 집단 간 재범 예측 분포가 거의 동일하며 AUC가 다소 감소(0.72 대 0.71)한 것으로 나타나, 이는 성능 손실가 장기적으로 낮음을 시사한다.

ABSTRACT

Predictive modeling is increasingly being employed to assist human decision-makers. One purported advantage of replacing human judgment with computer models in high stakes settings-- such as sentencing, hiring, policing, college admissions, and parole decisions-- is the perceived "neutrality" of computers. It is argued that because computer models do not hold personal prejudice, the predictions they produce will be equally free from prejudice. There is growing recognition that employing algorithms does not remove the potential for bias, and can even amplify it, since training data were inevitably generated by a process that is itself biased. In this paper, we provide a probabilistic definition of algorithmic bias. We propose a method to remove bias from predictive models by removing all information regarding protected variables from the permitted training data. Unlike previous work in this area, our framework is general enough to accommodate arbitrary data types, e.g. binary, continuous, etc. Motivated by models currently in use in the criminal justice system that inform decisions on pre-trial release and paroling, we apply our proposed method to a dataset on the criminal histories of individuals at the time of sentencing to produce "race-neutral" predictions of re-arrest. In the process, we demonstrate that the most common approach to creating "race-neutral" models-- omitting race as a covariate-- still results in racially disparate predictions. We then demonstrate that the application of our proposed method to these data removes racial disparities from predictions with minimal impact on predictive accuracy.

연구 동기 및 목표

• 편향된 데이터로 훈련된 기계학습 모델에서의 부당한 예측 문제를 해결하기 위해, 특히 보호된 특성(예: 인종)이 결과와 상관관계가 있을 경우에 대비한다.
• 보호된 변수에 대한 정보를 완전히 제거하지 않고도, 이를 공변량에서 제거하는 일반적이고 유연한 방법을 개발한다.
• 예측과 보호된 변수 간의 통계적 독립성을 강제하여 공정성을 확보하며, 이는 공변량이 연속형, 이진형, 혼합형일 경우에도 적용 가능하다.
• 조정 과정에서의 정보 손실를 최소화함으로써 높은 예측 성능를 유지한다.
• 복잡한 모델링 기법(예: 계층 모델, 비모수적 회귀)을 지원하는 통계적으로 타당한 최대우도 기반 접근법을 제공한다.

제안 방법

• 예측의 독립성을 확보하기 위해 $ g(x,z) = \widetilde{F}^{-1}(F_{x|z}(x)) $ 형태의 변환을 사용하며, 여기서 $ F_{x|z} $ 는 $ z $ 를 조건으로 한 $ x $ 의 조건부 누적분포함수이다. 이는 $ \widetilde{x} $ 가 $ z $ 에 대해 독립적이게 한다.
• 각 공변량 $ x_j $ 에 대해, 적절한 회귀 기법을 사용하여 조건부 분포 $ F_{x_j|\widetilde{z}^{(j)}} $ 를 모델링한다. 연속형 변수에는 선형 모델, 이진형 변수에는 로지스틱 회귀, 카운트 변수에는 제로 인플레이티드 포아송 또는 음이항 분포를 사용한다.
• 다변량 변환을 순차적으로 적용하며, 각 $ \widetilde{x}_j $ 는 $ z $ 와 이전에 변환된 변수 $ \widetilde{x}_{1:j-1} $ 에 의존하여, $ z $ 와의 공동 독립성을 확보한다.
• 이산형 변수의 경우, 인접한 누적확률 간격 내에서 균일한 난수를 생성하고, 역실측누적분포함수를 사용하여 $ \widetilde{x}_j $ 를 생성함으로써 공정성을 유지한다.
• 스토케스틱 변환으로 인한 불확실성을 다루기 위해 다수의 보완 데이터셋($ M $) 을 생성하고, 예측을 이들 간 평균하여 안정성과 불확실성 추정을 향상시킨다.
• 모델 적합도는 변환된 $ F_{x|z}(x|z) $ 값에 대해 콜모고로프-스미르노프 검정을 사용하여 균일성을 검증함으로써 확인되며, 이는 성공적인 독립성의 지표로 작용한다.

실험 결과

연구 질문

• RQ1 보호된 변수에 대한 정보를 예측 모델에서 제거하면서도 예측 정확도를 유지할 수 있는 통계적 프레임워크를 개발할 수 있는가?
• RQ2 예측과 보호된 특성 간의 통계적 독립성을 공정성의 공식적 정의로 삼고, 이를 어떻게 강제로 구현할 수 있는가?
• RQ3 혼합형 공변량(연속형, 이진형, 카운트형)을 조정하여 공정성을 달성하는 데 효과적인 모델링 기법은 무엇인가?
• RQ4 제안된 방법이 예측 성능에 크게 영향을 주지 않으면서도 재범 예측에서 인종 격차를 어느 정도 감소시키는가?
• RQ5 변환 과정의 불확실성은 어떻게 적절히 정량화하고 후속 예측에 전파할 수 있는가?

주요 결과

• 제안된 방법은 재범 데이터셋에서 예측과 인종 간의 거의 완벽한 독립성을 달성하였으며, 콜모고로프-스미르노프 검정 결과 유일한 변수를 제외한 모든 변수에서 균일성의 귀무가설을 기각하지 못함으로써 확인되었다.
• 조정 후 재범 확률에 대한 경험적 예측 분포는 인종 집단 간 거의 동일하여, 조정되지 않은 모델에서 관찰된 큰 격차가 사라졌다.
• 조정된 모델의 ROC 곡선 아래 면적(AUC)은 0.72로, 조정되지 않은 모델의 AUC(0.71)와 거의 유사하여 예측 성능 손실가 미미함을 시사한다.
• 조정된 모델의 AUC는 상용으로 배포된 리스크 평가 도구의 AUC(0.70)와 유사하며, 약간 높은 성능를 보이며 강력한 실용적 성능를 입증하였다.
• 인종이 결과와 상관관계가 있을 경우에도 이 방법은 인종적 편향을 효과적으로 제거하였으며, 보호된 변수를 모델에서 완전히 제거하지 않아도 공정성이 달성될 수 있음을 보여주었다.
• 스토케스틱 변환 과정의 불확실성을 반영하기 위해 다수의 보완 데이터셋을 사용한 결과, 안정적이고 강력한 예측과 적절한 불확실성 정량화가 가능하였다.