[논문 리뷰] Interventions over Predictions: Reframing the Ethical Debate for Actuarial Risk Assessment

Chelsea Barabas, Karthik Dinakar외 3명|arXiv (Cornell University)|2017. 12. 21.

Criminal Justice and Corrections Analysis참고 문헌 30인용 수 42

한 줄 요약

논문은 예측이 아닌 간섭을 중심으로 범죄 사법 시스템 내 보험사적 위험 평가를 재구성함으로써 예측 모델링 대신 인과 추론을 주장함. 기계학습을 활용해 범죄의 사회적, 구조적, 심리적 원인을 특정함으로써 편향된 위험 점수 부여가 아닌 표적화된 위험 완화를 가능하게 하여 역사를 반영한 체계적 불평등을 해결함.

ABSTRACT

Actuarial risk assessments might be unduly perceived as a neutral way to counteract implicit bias and increase the fairness of decisions made at almost every juncture of the criminal justice system, from pretrial release to sentencing, parole and probation. In recent times these assessments have come under increased scrutiny, as critics claim that the statistical techniques underlying them might reproduce existing patterns of discrimination and historical biases that are reflected in the data. Much of this debate is centered around competing notions of fairness and predictive accuracy, resting on the contested use of variables that act as "proxies" for characteristics legally protected against discrimination, such as race and gender. We argue that a core ethical debate surrounding the use of regression in risk assessments is not simply one of bias or accuracy. Rather, it's one of purpose. If machine learning is operationalized merely in the service of predicting individual future crime, then it becomes difficult to break cycles of criminalization that are driven by the iatrogenic effects of the criminal justice system itself. We posit that machine learning should not be used for prediction, but rather to surface covariates that are fed into a causal model for understanding the social, structural and psychological drivers of crime. We propose an alternative application of machine learning and causal inference away from predicting risk scores to risk mitigation.

연구 동기 및 목표

• 사법 시스템 내 개인의 범죄 위험을 예측하기 위해 기계학습을 사용하는 지배적 패러다임에 도전하기 위해.
• 현재의 위험 평가가 예측을 주요 목표로 삼고 있음에도 불구하고 역사적 편향을 재생산한다는 점을 주장하기 위해.
• 예측 정확도에서 인과 추론으로의 초점을 이동시켜 범죄의 실행 가능한 구조적 원인을 특정하기 위해.
• 위험 점수를 부여하기 위해 데이터 기반 도구를 사용하는 것보다는 효과적이고 증거 기반 간섭을 뒷받침하기 위해.
• 기밀성과 투명성이 떨어지는 전용 위험 도구의 윤리적 결함을 해결하기 위해 투명성, 반성적 사고, 간섭 중심 설계를 강조하기 위해.

제안 방법

• 예측이 아닌 간섭을 가능하게 하는 인과 추론을 활용해 위험 평가를 진단 도구로 재구성하기 위해.
• 기계학습을 결과 예측을 위한 것이 아니라 인과 모델의 범죄 원인을 설명하는 공변량을 드러내기 위해 적용하기 위해.
• 임의 배정 실험(RCT)이 불가능한 상황에서 간섭과 재범율 간의 인과 관계를 추론하기 위해 관찰 및 준실험적 방법을 사용하기 위해.
• 임상의학에서 유래한 윤리 프레임워크(예: IRB 감독 및 단계적 평가)를 사법 시스템 연구에 통합하기 위해.
• 연구자 편향을 줄이기 위해 반성적 사고와 정성적 방법(예: 민족지학적 연구)을 강조하기 위해.
• 예측 위험 점수를 대체해 사회적, 심리적, 구조적 요인의 인과 모델링을 통해 도출된 간섭 준비 상태의 통찰을 제안하기 위해.

실험 결과

연구 질문

• RQ1 기계학습을 재범 예측에서 범죄 원인의 인과적 원인을 특정하는 데로 재편성할 수 있는가?
• RQ2 범죄 사법 시스템에서 위험 평가를 단지 예측 도구로만 간주할 경우 드러나는 윤리적 및 구조적 결함은 무엇인가?
• RQ3 관찰 연구를 포함한 인과 추론 방법이 범죄 사법 간섭 평가에서 랜덤화 대조 시험(RCT)을 대체하거나 보완할 수 있는 정도는 어느 정도인가?
• RQ4 기존의 위험 평가 도구가 인종과 성별과 같은 대체 변수를 통해 체계적 편향을 어떻게 재생산하는가?
• RQ5 특히 정성적 연구 및 임상 윤리에서 유래한 다학제적 방법이 공정한 데이터 기반 사법 도구 설계에 어떤 역할을 할 수 있는가?

주요 결과

• 현재의 위험 평가 도구는 예측을 주요 목표로 삼고 있음에도 불구하고, 인종과 같은 변수가 보호받는 특성의 대체 지표로 작용함으로써 역사적 편향을 재생산하는 경우가 많다.
• 범죄 사법 시스템에서 기계학습을 예측에 사용할 경우, 간섭을 가능하게 하기보다는 범죄화의 순환을 강화함으로써 의료적 부작용(iatrogenic harm)을 초래할 위험이 있다.
• 관찰 연구를 포함한 인과 추론 방법은 랜덤화 실험이 불가능하거나 윤리적으로 문제가 될 경우에도 간섭이 재범율에 미치는 영향을 효과적으로 특정할 수 있다.
• 미국의 범죄 사법 간섭 중 약 16%만이 랜덤화 대조 시험(RCT)을 통해 평가되며, 이는 증거 기반 정책의 심각한 격차를 보여준다.
• 임상의학에서 유래한 윤리 프레임워크(예: IRB 감독 및 단계적 평가)는 범죄 사법 시스템에서 데이터의 책임 있는 사용을 보장하기 위해 적응 가능하다.
• 위험 평가를 진단 도구로 재구성함으로써 실무자들은 치료 접근성이나 고용 기회와 같은 범죄의 근본 원인을 표적으로 삼을 수 있으며, 정적 위험 점수에 의존하는 것에서 벗어날 수 있다.