[논문 리뷰] Improving Fairness in Criminal Justice Algorithmic Risk Assessments Using Conformal Prediction Sets

Richard A. Berk, Arun Kumar Kuchibhotla|arXiv (Cornell University)|2020. 08. 26.

Ethics and Social Impacts of AI참고 문헌 32인용 수 5

한 줄 요약

이 논문은 범죄 사법 리스크 평가에서 공정성을 향상시키기 위해 콫라프탈 예측 세트를 사용하는 것을 제안한다. 이는 유효한 확률 보장을 갖는 개별 수준의 예측을 생성하면서도 흑인과 백인 범죄자 간의 의미 있는 격차를 제거함으로써 이루어진다. 이 방법은 30만 건의 기소된 피의자 데이터셋을 사용하여 알고리즘 출력과 공변수 모두에서 공정성을 확보하며, 의미 있는 공정성 차이가 없는 혼동 행렬을 도출한다.

ABSTRACT

Risk assessment algorithms have been correctly criticized for potential unfairness, and there is an active cottage industry trying to make repairs. In this paper, we adopt a framework from conformal prediction sets to remove unfairness from risk algorithms themselves and the covariates used for forecasting. From a sample of 300,000 offenders at their arraignments, we construct a confusion table and its derived measures of fairness that are effectively free any meaningful differences between Black and White offenders. We also produce fair forecasts for individual offenders coupled with valid probability guarantees that the forecasted outcome is the true outcome. We see our work as a demonstration of concept for application in a wide variety of criminal justice decisions. The procedures provided can be routinely implemented in jurisdictions with the usual criminal justice datasets used by administrators. The requisite procedures can be found in the scripting software R. However, whether stakeholders will accept our approach as a means to achieve risk assessment fairness is unknown. There also are legal issues that would need to be resolved although we offer a Pareto improvement.

연구 동기 및 목표

• 흑인과 백인 피의자 간의 인종적 격차가 지속적으로 존재하는 범죄 사법 리스크 평가 알고리즘의 공정성 문제를 해결하기 위해.
• 알고리즘 예측뿐만 아니라 예측에 사용되는 공변수의 공정성도 보장하는 방법을 개발하기 위해.
• 예측 결과가 진짜 결과와 일치할 확률 보장이 있는 개별 수준의 리스크 예측을 생성하기 위해.
• 기본적인 범죄 사법 데이터셋과 R 기반 스크립팅 도구를 사용하여 실용적이고 구현 가능한 프레임워크를 제시하기 위해.
• 기본적인 법적 또는 제도적 변화 없이도 도입 가능한 파레토 개선을 제공하기 위해.

제안 방법

• 사전 설정된 확률 수준에서 진짜 결과가 포함되는 예측 세트를 생성하기 위해 콕라프탈 예측 프레임워크를 채택한다.
• 알고리즘 출력과 입력 공변수 양쪽에 콕라프탈 예측를 적용하여 예측 과정의 각 단계에서 공정성을 확보한다.
• 30만 건의 기소된 피의자 데이터셋을 사용하여 예측 세트의 공정성을 학습하고 평가한다.
• 혼동 행렬을 구성하여 공정성 지표를 측정하고 인종 집단 간의 의미 있는 격차가 없는지 확인한다.
• 예측 세트가 통계적으로 타당함을 검증한다. 즉, 진짜 결과가 명목상의 확률 수준에서 예측 세트에 포함됨을 보장한다.
• 전체 절차를 R 스크립팅을 통해 구현하여 표준 범죄 사법 데이터 환경에서 일상적인 배포가 가능하게 한다.

실험 결과

연구 질문

• RQ1 콕라프탈 예측 세트를 사용하여 흑인과 백인 피의자 간의 리스크 평가 결과에서 의미 있는 공정성 격차를 제거할 수 있는가?
• RQ2 알고리즘 출력 외에도 예측에 사용되는 공변수의 공정성은 어떻게 향상시킬 수 있는가?
• RQ3 의미 있는 공정성을 유지하면서도 유효한 확률 보장을 갖는 개별 수준의 리스크 예측을 생성할 수 있는가?
• RQ4 이 방법은 표준 범죄 사법 데이터셋과 R과 같은 기존 소프트웨어 도구를 사용하여 얼마나 구현 가능한가?
• RQ5 이 공정성 향상 접근법을 도입할 때 잠재적인 법적 문제와 이해관계자 수용의 도전 과제는 무엇인가?

주요 결과

• 제안된 방법은 흑인과 백인 피의자 간의 공정성 지표에서 의미 있는 차이가 거의 없는 혼동 행렬을 성공적으로 도출하였다.
• 개별 피의자에 대한 예측은 유효한 확률 보장을 갖추었으며, 진짜 결과가 명목상의 신뢰 수준에서 예측 세트에 포함됨을 보장하였다.
• 이 프레임워크는 알고리즘 예측과 예측에 사용된 공변수 양쪽에서 공정성을 달성하여 다수 수준의 공정성 문제를 해결하였다.
• 표준 범죄 사법 데이터셋과 R 기반 스크립팅을 사용하여 절차를 구현할 수 있어 실제 관할 구역에서의 일상적 배포가 가능하였다.
• 통계적 타당성이나 예측 성능을 훼손하지 않으면서도 공정성을 향상시키는 파레토 개선을 제공하였다.
• 기술적 구현 가능성에도 불구하고, 이해관계자 수용과 해결되지 않은 법적 문제들은 도입에 있어 여전한 도전 과제로 남아 있다.