[논문 리뷰] Machine learning for risk assessment in gender-based crime

Ángel González-Prieto, Antonio Brú외 2명|arXiv (Cornell University)|2021. 06. 22.

Crime Patterns and Interventions참고 문헌 38인용 수 8

한 줄 요약

이 논문은 스페인 공식 자료에서 확보한 40,000건 이상의 사례 데이터를 바탕으로 여성 대상 친자폭력 재범 위험을 예측하기 위한 기계학습(ML) 모델을 제안한다. 유클리드 거리 측도와 수축 임계값 = 5를 사용한 최근접 중심(NC) 모델가 가장 높은 경찰 보호 점수(1.595)를 기록하여 기존 통계적 방법을 능가했으며, 법집행 기관에서의 실용적 구현을 위한 하이브리드 전환 모델을 가능하게 했다.

ABSTRACT

Gender-based crime is one of the most concerning scourges of contemporary society. Governments worldwide have invested lots of economic and human resources to radically eliminate this threat. Despite these efforts, providing accurate predictions of the risk that a victim of gender violence has of being attacked again is still a very hard open problem. The development of new methods for issuing accurate, fair and quick predictions would allow police forces to select the most appropriate measures to prevent recidivism. In this work, we propose to apply Machine Learning (ML) techniques to create models that accurately predict the recidivism risk of a gender-violence offender. The relevance of the contribution of this work is threefold: (i) the proposed ML method outperforms the preexisting risk assessment algorithm based on classical statistical techniques, (ii) the study has been conducted through an official specific-purpose database with more than 40,000 reports of gender violence, and (iii) two new quality measures are proposed for assessing the effective police protection that a model supplies and the overload in the invested resources that it generates. Additionally, we propose a hybrid model that combines the statistical prediction methods with the ML method, permitting authorities to implement a smooth transition from the preexisting model to the ML-based model. This hybrid nature enables a decision-making process to optimally balance between the efficiency of the police system and aggressiveness of the protection measures taken.

연구 동기 및 목표

• 여성 대상 친자폭력(IPVAW) 재범 예측을 위한 기존 통계적 위험 평가 도구를 개선하는 기계학습 모델을 개발하는 것.
• 실제 경찰 보호 효과성과 자원 효율성을 반영하는 새로운 지표를 사용하여 모델 성능을 평가하는 것.
• 기존 룰 기반 시스템에서 ML 기반 위험 예측으로의 원활한 전환을 가능하게 하는 하이브리드 모델을 제안하는 것.

제안 방법

• 연구는 스페인 공식 출처에서 확보한 40,000건 이상의 IPVAW 신고 기록을 포함한 구조화된 임상 및 법적 변수 데이터셋을 사용한다.
• 최근접 중심(NC), K-최근접 이웃(KNN), 로지스틱 회귀(LR), 의사결정나무(DT), 신경망(NN) 등의 다양한 ML 모델을 학습 및 평가한다.
• 최근접 중심 모델은 10겹 교차검증을 통해 경찰 보호 점수를 목적 함수로 사용하여 최적화되며, 거리 측도(유클리드, 맨하탄, 민코프스키)와 수축 임계값을 조정한다.
• 기존 VioGen 룰 기반 시스템과 최고 성능을 보인 ML 모델(NC)의 예측값을 확률 μ로 제어하는 스토케스틱 보간을 통해 새로운 하이브리드 모델을 구성한다.
• 하이브리드 모델은 이중 모델 예측 간 차이를 기반으로 이항 랜덤 변수를 사용해 예측값을 변형함으로써 기존 시스템에서 신규 시스템으로의 부드러운 전환을 보장한다.
• 두 가지 새로운 평가 지표를 도입하였다: 경찰 보호 점수(효율적 위험 탐지 측정)와 자원 과부하 지수(과도한 보호 조치 측정).

실험 결과

연구 질문

• RQ1 기계학습 모델은 기존의 고전적 통계적 위험 평가 도구보다 여성 대상 친자폭력(IPVAW) 재범 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 정확도 외에도 실질적인 운영 영향, 예를 들어 효과적인 보호 조치와 자원 효율성 등을 고려할 때, 모델 성능은 어떻게 평가할 수 있는가?
• RQ3 기존 경찰 시스템의 운영 방식을 방해하지 않으면서 신규 ML 기반 위험 예측 모델을 어떻게 통합할 수 있는가?
• RQ4 여성 대상 친자폭력 재범 예측의 맥락에서 예측 성능와 운영 가능성의 최적 균형을 이룬다 할 때, 어떤 기계학습 알고리즘이 가장 우수한가?
• RQ5 기존 시스템과 ML 기반 예측을 조합한 하이브리드 모델은 안전하고 점진적인 전환을 가능하게 하며, 보호 결과를 유지 또는 향상시킬 수 있는가?

주요 결과

• 유클리드 거리 측도와 수축 임계값 = 5를 사용한 최근접 중심(NC) 모델가 10겹 교차검증에서 최고의 경찰 보호 점수 1.595를 기록하여 기준 VioGen 시스템(점수: 1.28)을 크게 능가했다.
• NC 모델은 안정성과 일관성을 입증하였으며, 10개 교차검증 폴드 간 표준편차가 오직 0.037에 불과하여 안정된 성능을 보였다.
• 하이브리드 모델은 기존 VioGen 시스템에서 ML 기반 모델로의 부드러운 전환을 가능하게 하며, μ = 0일 경우 원래 시스템, μ = 1일 경우 완전한 ML 모델을 의미한다.
• 제안된 경찰 보호 점수 지표는 위험 예측 모델의 실질적 활용가치를 효과적으로 반영하며, 과도한 자원 투입 없이 고위험 사례를 정확히 식별하는 모델을 선호한다.
• 본 연구는 자원 과부하 지수를 신규로 도입하여 과도한 보호 조치의 위험을 정량화함으로써 안전성과 시스템 효율성의 균형을 도모한다.
• 기존의 표준 기계학습 모델이 성범죄 위험 평가에 부적합하다는 주장에 도전하며, 적절한 데이터와 평가 체계를 갖춘다면 기계학습이 예측 정확도와 운영 관련성을 크게 향상시킬 수 있음을 입증했다.