[논문 리뷰] Fair-by-design explainable models for prediction of recidivism

Eduardo Soares, Plamen Angelov|arXiv (Cornell University)|2019. 09. 18.

Crime Patterns and Interventions참고 문헌 7인용 수 8

한 줄 요약

이 논문은 최소한의 감독을 사용하여 국소적으로 데이터로부터 학습하는 공정성 설계, 프로토타입 기반의 해석 가능한 모델을 제안한다. 경험적 데이터 분포를 추출하고 인간이 이해할 수 있는 IF-THEN 규칙을 생성함으로써, 인종적 편향을 감소시키며, Black 피고인의 잘못된 양성률을 COMPAS의 44.8%에서 30.2%로 낮추고, 전체 정확도를 67.7%로 향상시킨다.

ABSTRACT

Recidivism prediction provides decision makers with an assessment of the likelihood that a criminal defendant will reoffend that can be used in pre-trial decision-making. It can also be used for prediction of locations where crimes most occur, profiles that are more likely to commit violent crimes. While such instruments are gaining increasing popularity, their use is controversial as they may present potential discriminatory bias in the risk assessment. In this paper we propose a new fair-by-design approach to predict recidivism. It is prototype-based, learns locally and extracts empirically the data distribution. The results show that the proposed method is able to reduce the bias and provide human interpretable rules to assist specialists in the explanation of the given results.

연구 동기 및 목표

• COMPAS에서 관찰된 인종적 격차를 포함해 재범 예측 도구에서의 차별적 편향을 해결한다.
• 예측 정확도를 희생시키지 않으면서도 공정성을 보장하는 모델을 개발한다.
• 결정자들이 이해할 수 있는 언어적으로 투명한 규칙 기반 출력을 통해 인간의 해석 가능성을 보장한다.
• 10%의 레이블된 데이터만을 사용하는 약한 감독을 통해 대규모 레이블된 데이터셋에 대한 의존도를 최소화한다.
• 국소 데이터 분포와 일반성(typicality)을 포괄하는 자기학습형 비모수적 프레임워크를 제공한다.

제안 방법

• 다중모달 코시 분포를 기반으로 한 국소적으로 유효한 생성 모델을 사용하는 프로토타입 기반 학습을 수행한다.
• 각 클래스의 첫 번째 데이터 샘플을 초기 프로토타입으로 설정하고, 반복적이지 않은 비모수적 알고리즘을 사용해 순차적으로 업데이트한다.
• 데이터 밀도와 일반성은 코시 함수를 사용하여 국소 데이터 분포와 영향 영역을 평가한다.
• 기존 프로토타입의 영향 범위를 벗어나는 데이터 포인트가 나타나면, 밀도 임계값을 기준으로 새로운 프로토타입을 추가한다.
• 각 프로토타입이 다양한 형태와 지지 영역을 가진 데이터 클라우드를 정의하는 베이어노이 타일링 유사 분할을 형성한다.
• 프로토타입 특징에서 유도된 해석 가능한 IF-THEN 규칙으로 결과를 표현함으로써 인간이 이해하고 설명할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 도구인 COMPAS와 비교해 국소적으로 학습되는 프로토타입 기반 모델이 재범 예측에서 인종적 편향을 줄일 수 있는가?
• RQ2 10%의 레이블된 데이터만을 사용하는 모델이 최신 기술 대비 더 높은 공정성과 정확도를 달성할 수 있는가?
• RQ3 이 모델이 재범 예측에 대해 인간이 이해할 수 있는 규칙 기반 설명을 얼마나 효과적으로 생성할 수 있는가?
• RQ4 위험 평가에서 국소 평균화보다 프로토타입 주변의 국소 학습이 다양한 데이터 분포를 더 잘 포착하는가?
• RQ5 모델이 인종 집단 전반에서 잘못된 양성률과 잘못된 음성률을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 모델은 전체 정확도 67.7%를 달성하여 COMPAS(65.4%)와 기타 기준 모델을 초월했다.
• Black 피고인의 잘못된 양성률은 COMPAS의 44.8%에서 30.2%로 감소했다. 이는 이전 최고 성능 모델(NL-SVM)의 31.6%보다도 낮다.
• White 피고인의 잘못된 음성률은 COMPAS의 47.7%에서 제안 모델에서 29.6%로 감소했다.
• Black 피고인의 정확도는 67.9%에 도달하여 COMPAS(63.8%)와 기타 방법을 뛰어넘었다.
• 모델은 프로토타입 기반으로 해석 가능한 IF-THEN 규칙를 생성하여 투명하고 설명 가능한 의사결정을 가능하게 했다.
• 최소한의 레이블된 데이터로도 프로토타입 기반 학습을 통해 국소 데이터 분포를 효과적으로 포착하여 공정성과 정확도를 향상시켰다.