[논문 리뷰] Crime Prediction using Machine Learning with a Novel Crime Dataset

Faisal Tareque Shohan, Abu Ubaida Akash외 2명|arXiv (Cornell University)|2022. 11. 03.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 범죄 발생, 시간, 기상, 인구통계적 특성 등을 통합한 새로운 종합적 범죄 데이터셋을 뱅글라데시에 도입한다. 이 데이터셋은 7년간의 뉴스 아카이브, 공식 데이터베이스 및 인구 조사 보고서에서 수작업으로 수집한 자료를 기반으로 하며, 총 6,574起의 사건을 포함한다. 특성 공학과 SMOTE를 활용해 다섯 가지 지도 학습 모델(RF, XGBoost, AdaBoost, Extra Tree, Decision Tree)을 평가하여 만족스러운 예측 성능를 달성하였으며, 이는 뱅글라데시 및 유사한 환경에서의 범죄 예측을 위한 기초 자원을 확립한다.

ABSTRACT

Crime is an unlawful act that carries legal repercussions. Bangladesh has a high crime rate due to poverty, population growth, and many other socio-economic issues. For law enforcement agencies, understanding crime patterns is essential for preventing future criminal activity. For this purpose, these agencies need structured crime database. This paper introduces a novel crime dataset that contains temporal, geographic, weather, and demographic data about 6574 crime incidents of Bangladesh. We manually gather crime news articles of a seven year time span from a daily newspaper archive. We extract basic features from these raw text. Using these basic features, we then consult standard service-providers of geo-location and weather data in order to garner these information related to the collected crime incidents. Furthermore, we collect demographic information from Bangladesh National Census data. All these information are combined that results in a standard machine learning dataset. Together, 36 features are engineered for the crime prediction task. Five supervised machine learning classification algorithms are then evaluated on this newly built dataset and satisfactory results are achieved. We also conduct exploratory analysis on various aspects the dataset. This dataset is expected to serve as the foundation for crime incidence prediction systems for Bangladesh and other countries. The findings of this study will help law enforcement agencies to forecast and contain crime as well as to ensure optimal resource allocation for crime patrol and prevention.

연구 동기 및 목표

• 현재 집계되거나 불완전한 자료에 의존하고 있는 뱅글라데시에 대해 표준화되고 종합적이며 체계적으로 정리된 범죄 데이터의 부족을 해결한다.
• 기계학습 응용을 위해 시간, 지리, 기상, 사회경제적 특성을 통합한 고품질의 다차원 데이터셋을 개발한다.
• 데이터 부족 및 불균형 문제를 해결하여 뱅글라데시에서 정확한 범죄 예측을 가능하게 하기 위해 지도 학습에 적합한 데이터셋을 구축한다.
• 공식 범죄 데이터 인프라가 제한된 개발도상국에 적용 가능한 복제 가능한 범죄 데이터 정제 및 특성 공학 프레임워크를 제공한다.

제안 방법

• 2013~2020년 기간 동안 일간 신문 아카이브에서 수작업으로 6,574건의 범죄 뉴스 기사를 수집하여 날짜, 시간, 위치, 범죄 유형 등의 기본 사건 정보를 추출한다.
• 기본 텍스트 데이터를 표준 지오로케이션 서비스를 활용해 각 사건의 정확한 위도와 경도를 유도하고, 신뢰할 수 있는 기상 데이터베이스에서 역사적 기상 데이터(기온, 습도, 강수량)를 통합한다.
• Bangladesh National Census 자료에서 지역 인구 밀도, 연령 분포, 소득 수준 등의 인구통계적 데이터를 확보하여 사회경제적 맥락을 데이터셋에 보완한다.
• 시간대, 요일, 계절적 추세, 기상 조건 지표 등 총 36개의 구조화된 특성을 생성하기 위해 광범위한 특성 공학을 수행하여 모델의 해석 가능성과 성능을 향상시켰다.
• 누락치 및 일관성 없는 데이터를 처리하기 위해 데이터 정제 기법을 적용하고, 범죄 유형 분포의 클래스 불균형 문제를 완화하기 위해 SMOTE 오버샘플링을 사용하였다.
• 표준 평가 지표(정확도, F1-score, AUC)를 사용하여 공학된 데이터셋에서 다섯 가지 지도 학습 분류기(RF, XGBoost, AdaBoost, Extra Tree, Decision Tree)를 평가하였다.

실험 결과

연구 질문

• RQ1 공개된 자료와 수작업으로 수집한 자료를 기반으로 하여 뱅글라데시에 대해 표준화되고 다중 소스이며 종합적인 범죄 데이터셋을 어떻게 체계적으로 구축할 수 있는가?
• RQ2 시간, 지리, 기상, 인구통계적 요소가 뱅글라데시의 범죄 발생에 어느 정도 영향을 미치며, 이를 효과적으로 특성으로 표현할 수 있는가?
• RQ3 개발도상국의 맥락에서 새로 구축된 다차원 데이터셋에 대해 어떤 지도 학습 모델이 범죄 예측에 가장 우수한 성능을 보이는가?
• RQ4 특성 공학 및 데이터 균형 조정 기법(SMOTE 등)이 이 데이터셋에서 범죄 예측 모델의 성능 향상에 얼마나 효과적인가?

주요 결과

• 본 연구는 뱅글라데시에서 시간, 지리, 기상, 인구통계적 특성을 통합한 새로운 표준 범죄 데이터셋을 성공적으로 구축하였으며, 6개의 범죄 유형에 대해 총 6,574건의 사건을 포함한다.
• 특성 공학은 데이터 품질 향상과 모델 준비도를 크게 향상시켜 최종적으로 기계학습에 적합한 36개의 공학된 특성을 포함한 데이터셋을 확보하였다.
• 평가된 모델들 중 XGBoost와 Random Forest가 가장 높은 예측 정확도를 기록하였으며, XGBoost는 F1-score와 AUC에서 다른 모델들을 압도하여 불균형한 범죄 데이터에 대해 뛰어난 일반화 능력을 보였다.
• SMOTE 오버샘플링 적용으로 클래스 불균형의 영향을 효과적으로 줄여 소수 범죄 유형에 대한 모델 성능을 향상시켰다.
• 기초 데이터 분석을 통해 특정 월과 도시 중심지에서 범죄 발생 빈도가 높은 명확한 시간적·공간적 패턴을 확인하였으며, 이는 정책 수립 및 순찰 계획 수립에 있어 데이터셋의 유용성을 뒷받침한다.
• 이 데이터셋은 뱅글라데시에서 유일한 종합적 다중 소스 기반 데이터셋으로, 향후 연구 및 현장 적용을 위한 범죄 예측 시스템 구축에 기초 자료를 제공한다.