[논문 리뷰] An algorithm for removing sensitive information: application to race-independent recidivism prediction

James E. Johndrow, Kristian Lum|arXiv (Cornell University)|2017. 03. 15.

Criminal Justice and Corrections Analysis인용 수 6

한 줄 요약

이 논문은 예측 모델에서 민감한 정보(예: 인종)를 제거하기 위해 일반적인 확률적 프레임워크를 제안한다. 이는 예측 결과가 보호 변수와 통계적으로 독립이 되도록 데이터를 변환함으로써 이루어진다. 범죄 재범 예측에 적용했을 때, 예측 정확도의 손실를 최소화하면서도 인종 중립적인 결과를 달성하였으며, 단순히 인종을 특성에서 제거하는 것보다 성능이 뛰어나다.

ABSTRACT

Predictive modeling is increasingly being employed to assist human decision-makers. One purported advantage of replacing or augmenting human judgment with computer models in high stakes settings-- such as sentencing, hiring, policing, college admissions, and parole decisions-- is the perceived "neutrality" of computers. It is argued that because computer models do not hold personal prejudice, the predictions they produce will be equally free from prejudice. There is growing recognition that employing algorithms does not remove the potential for bias, and can even amplify it if the training data were generated by a process that is itself biased. In this paper, we provide a probabilistic notion of algorithmic bias. We propose a method to eliminate bias from predictive models by removing all information regarding protected variables from the data to which the models will ultimately be trained. Unlike previous work in this area, our framework is general enough to accommodate data on any measurement scale. Motivated by models currently in use in the criminal justice system that inform decisions on pre-trial release and parole, we apply our proposed method to a dataset on the criminal histories of individuals at the time of sentencing to produce "race-neutral" predictions of re-arrest. In the process, we demonstrate that a common approach to creating "race-neutral" models-- omitting race as a covariate-- still results in racially disparate predictions. We then demonstrate that the application of our proposed method to these data removes racial disparities from predictions with minimal impact on predictive accuracy.

연구 동기 및 목표

• 형사사법과 같이 고위험 의사결정에서 사용되는 예측 모델의 알고리즘 편향을 다루기 위해, 역사를 반영한 데이터가 체계적 불평등을 내재하고 있을 수 있음을 고려한다.
• 인종을 특성에서 제거하면 공정성이 보장된다는 일반적인 가정을 도전하며, 인종과 관련된 변수와의 상관관계가 여전히 편향된 예측을 초래할 수 있음을 입증한다.
• 모든 보호 변수에 대한 정보를 데이터에서 제거하는 일반화 가능한 방법을 개발하여, 예측 결과가 해당 변수와 독립이 되도록 보장한다.
• 독립 기준에 따라 공정성을 달성하면서도 높은 예측 성능(예: AUC)을 유지한다.
• 다양한 조직에서 모델 재학습 없이도 공정한 학습이 가능하도록, 모델에 맞게 공정성 기준을 재정의하지 않고도 적용 가능한 데이터 변환 접근법을 제공한다.

제안 방법

• 이 방법은 보호 변수(예: 인종)가 결과 및 기타 예측 변수와 통계적으로 독립이 되도록 특성의 결합 분포를 조정하는 확률적 데이터 변환을 사용한다.
• 조건부 독립 제약 조건을 적용한다: 변환된 특성에 조건을 두었을 때 예측 결과가 보호 변수와 독립이 되어야 한다.
• 데이터 분포의 재가중 또는 재매개변수화를 통해 변환을 구현함으로써 보호 변수에 대한 정보가 예측 구조에 남아 있지 않도록 보장한다.
• 이 방법은 연속형, 범주형, 혼합형 데이터 유형을 포함한 모든 측정 척도에 일반적으로 적용 가능하다.
• 학습 중 모델을 제약하는 것이 아니라, 모델 피팅 이전에 훈련 데이터를 수정함으로써 구현된다.
• 실제 범죄 기록 데이터셋(인종을 보호 변수로, 재범을 결과로 설정)을 사용하여 방법의 유효성을 검증하였다.

실험 결과

연구 질문

• RQ1 예측 모델에서 인종을 특성에서 제거하는 것이 실제로 재범 예측에서 인종적 격차를 제거하는가?
• RQ2 일반적인 목적의 데이터 변환 방법이 보호 변수에 대한 모든 정보를 제거하면서도 예측 정확도를 유지할 수 있는가?
• RQ3 모델 성능을 훼손시키지 않고도 예측 결과를 보호 변수로부터 통계적으로 독립적으로 만들 수 있는가?
• RQ4 표준적인 관행(예: 특성 제거)과 비교했을 때, 제안된 방법은 공정성과 정확도 측면에서 어떤가?
• RQ5 이 방법은 연속형 또는 다차원 보호 변수에 적용 가능한가? 또한, 상위 x개 선택 등의 대안적 접근법의 한계는 무엇인가?

주요 결과

• 인종을 특성에서 제거하더라도 다른 변수와의 상관관계로 인해 여전히 인종에 따라 다른 예측 결과가 도출되며, 이는 생략된 변수 편향이 존재함을 확인한다.
• 제안된 데이터 변환 방법은 예측 결과와 인종 간의 통계적 독립을 성공적으로 달성하여 독립 기준에 따른 공정성 기준을 충족한다.
• 변환 후 예측 성능(예: AUC)은 현재 사용 중인 모델들과 유사하게 유지되어 정확도에 미치는 영향이 최소한임을 나타낸다.
• 로지스틱 회귀나 랜덤 포레스트와 같은 다양한 후행 모델에서도 예측 결과가 공정하게 유지되며, 이는 공정성이 데이터에 통합되어 있음을 의미한다.
• 이 방법은 모든 측정 척도의 데이터에 대해 강건하며, 특히 다수의 보호 변수가 존재할 경우 이산화 기반 공정성 방법의 단점을 피할 수 있다.
• 연구는 공정성을 보장하기 위해 모델 설계만으로는 부족하며, 간접적 편향을 제거하기 위해 데이터 수준의 간섭이 필요하다는 것을 입증한다.