[논문 리뷰] Fair prediction with disparate impact: A study of bias in recidivism prediction instruments

Alexandra Chouldechova|arXiv (Cornell University)|2016. 10. 24.

Regulation and Compliance Studies인용 수 18

한 줄 요약

이 논문은 예측 편향이 없는 경우에도, 인종 집단 간 재범 비율의 차이로 인해 재범 예측 장치(RPIs)가 차별적 영향을 미칠 수 있음을 보여준다. 잘 校정된 RPIs(예: COMPAS)는 Black 피고인의 더 높은 가짜 양성 비율을 초래할 수 있으며, 이는 이진 제재 정책 하에서 불균형한 수감 결과로 이어질 수 있다.

ABSTRACT

Recidivism prediction instruments provide decision makers with an assessment of the likelihood that a criminal defendant will reoffend at a future point in time. While such instruments are gaining increasing popularity across the country, their use is attracting tremendous controversy. Much of the controversy concerns potential discriminatory bias in the risk assessments that are produced. This paper discusses a fairness criterion originating in the field of educational and psychological testing that has recently been applied to assess the fairness of recidivism prediction instruments. We demonstrate how adherence to the criterion may lead to considerable disparate impact when recidivism prevalence differs across groups.

연구 동기 및 목표

• 심리측정 테스트의 공정성 기준이 재범 예측의 실제 결과와 어떻게 상호작용하는지 조사하기 위해.
• 잘 校정된 RPI가 인종 집단 간에 어떻게 차별적 영향을 초래하는지 조건을 검토하기 위해.
• 시험 공정성, 오류 비율, 정책 결과 사이의 통계적 연관성을 명확히 하기 위해.
• 모든 집단에서 오류 비율을 균형 있게 맞추는 것이 더 세분화된 하위군에서의 불공정한 결과를 방지하는 데 충분한지 평가하기 위해.
• 헤드라인을 끌어모으는 편향 보고로 인해 데이터 기반 위험 평가를 포기하는 것에 반대하고, 맥락 인식 공정성 평가를 주장하기 위해.

제안 방법

• 인종(Black/White), 디시르 스코어, 2년 내 재범 결과를 포함한 Broward County COMPAS 데이터셋을 사용한다.
• 시험 공정성은 잘 校정된 조건으로 정의한다: 모든 점수 값 s에 대해 P(Y=1|S=s, R=r)가 인종 집단 간에 동일하다.
• 일반화된 위험 점수 S_c를 도입하여 임계값 s_HR 기반으로 고위험(HR) 또는 저위험(LR)으로 분류한다.
• 공정성 제약 조건 하에서 인종 집단 간 오류 비율(FPR, FNR)과 양성 예측도(PPV)를 분석한다.
• 이진 제재 정책을 모델링하여 고위험 개인은 수감된다(t_H=1)고 가정하고, 예상 수감 확률 E[T] = P(T≠0)를 유도한다.
• 총변동 거리 d_TV(f_b,y, f_w,y)를 사용하여 차별적 영향 Δ의 경계를 설정하여 Δ ≤ (t_H - t_L) * d_TV 를 수립한다.

실험 결과

연구 질문

• RQ1 집단별 재범 유병률이 잘 校정된 RPI와 어떻게 상호작용하여 차별적 영향을 초래하는가?
• RQ2 COMPAS와 같은 잘 校정된 RPI에서 인종 집단 간에 가짜 양성 및 가짜 음성 비율이 어느 정도 다를까?
• RQ3 교정 기반 공정성 기준이 이진 제재 정책 하에서도 여전히 불균형한 대응 결과를 초래할 수 있는가?
• RQ4 모든 집단의 오류 비율을 균형 있게 맞추는 것이 더 세분화된 하위군 수준에서의 공정성을 보장하는 데 충분한가?
• RQ5 통계적 효과 크기 측정치(예: d_TV)와 차별적 영향의 크기 사이의 관계는 무엇인가?

주요 결과

• 예측 편향이 없는 것으로 간주되는 COMPAS RPI는 재범 유병률의 차이로 인해 Black 피고인의 가짜 양성 비율(FPR_b ≈ 0.45)이 White 피고인(FPR_w ≈ 0.25)보다 높게 나타난다.
• 가짜 양성 비율의 격차는 이진 제재 정책 하에서 재범하지 않는 Black 피고인의 수감 가능성에 1.8배의 증가를 초래한다.
• 예를 들어, 범죄 기록이 적은 하위군(예: 과거 범죄 기록이 없는 자)에서도 Black과 White 피고인 간에 가짜 양성 비율의 유의미한 차이가 지속된다.
• Black 및 White 피고인의 점수 분포 간 총변동 거리(d_TV = 24.5%)는 차별적 영향의 크기에 대한 날카운 상한선을 제공한다.
• COMPAS 점수 분포에 대한 Cohen’s d는 0.60으로 중간 효과 크기를 나타내지만, 점수의 정규성 부족으로 전통적인 오버랩 측정치의 유효성이 제한된다.
• 이 연구는 전체 오류 비율을 균형 있게 맞추는 것만으로는 더 세분화된 하위군 수준(예: 이전 유죄 판결 수 기준)에서의 격차를 제거하는 데 부족함을 보여준다.