[논문 리뷰] Examining Deep Learning Architectures for Crime Classification and Prediction

Panagiotis Stalidis, Theodoros Semertzidis외 1명|arXiv (Cornell University)|2018. 12. 03.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 시공간 범죄 데이터를 사용하여 범죄 분류 및 예측을 위한 딥러닝 아키텍처를 평가하며, 공간적 및 시간적 패턴을 다른 순서로 인코딩하는 세 가지 구성 방식을 제안한다. 공간-시간 융합 모델이 잔차 연결과 최적화된 초모수를 갖추고 있을 때, 다섯 개의 데이터셋에서 10개의 최신 기법보다 일관되게 뛰어난 성능을 보이며, 배치 정규화와 드롭아웃을 통해 일반화 능력이 향상된 우수한 핫스팟 예측 정확도를 달성한다.

ABSTRACT

In this paper, a detailed study on crime classification and prediction using deep learning architectures is presented. We examine the effectiveness of deep learning algorithms on this domain and provide recommendations for designing and training deep learning systems for predicting crime areas, using open data from police reports. Having as training data time-series of crime types per location, a comparative study of 10 state-of-the-art methods against 3 different deep learning configurations is conducted. In our experiments with five publicly available datasets, we demonstrate that the deep learning-based methods consistently outperform the existing best-performing methods. Moreover, we evaluate the effectiveness of different parameters in the deep learning architectures and give insights for configuring them in order to achieve improved performance in crime classification and finally crime prediction.

연구 동기 및 목표

• 열린 경찰 보고서 데이터를 활용하여 딥러닝 모델의 효과성을 검토하여 범죄 핫스팟을 예측한다.
• 공간적 및 시간적 패턴을 다른 순서로 인코딩하는 다양한 딥러닝 구성 방식을 비교한다.
• 성능 향상을 위한 최적의 초모수 및 아키텍처 구성 요소(예: LSTM 너비, 배치 정규화, 드롭아웃)를 규명한다.
• 일반화 능력과 내구성을 중시하여 예측 경찰 운영에 딥러닝을 구현하기 위한 설계 가이드를 제공한다.
• 핫스팟 지역에서 다중 범죄 유형을 동시에 예측할 수 있는 다중 레이블 분류를 평가한다.

제안 방법

• 세 가지 딥러닝 구성 방식을 제안한다: (1) 공간-먼저 이후 시간, (2) 시간-먼저 이후 공간, (3) 공간적 및 시간적 패턴을 병렬로 인코딩.
• 공간적 특징 추출을 위한 컨볼루션 레이어와 시간 모델링을 위한 양방향 LSTM을 조합한 하이브리드 모델인 SFTT(Spatial-Fusion Temporal-Transformer)를 사용한다.
• 공간 트렁크에서 기울기 흐름과 학습 안정성을 향상시키기 위해 잔차 연결(ResNet 스타일)을 적용한다.
• 이중 출력 헤드를 사용한다: 하나는 핫스팟 분류(이진 또는 다중 레이블)를 위한 것이고, 다른 하나는 향후 시간 창 동안의 범죄 수를 예측하기 위한 것이다.
• 풀링 레이어 이후에 배치 정규화를 적용하고, 과적합 방지를 위해 다양한 비율(10%에서 90%까지)의 드롭아웃을 사용한다.
• 다중 레이블 분류의 경우, 최종 레이어에 시그모이드 활성화 함수와 다중 클래스 크로스 엔트로피 손실을 사용하여 모든 범죄 유형에 대한 확률을 동시에 예측한다.

실험 결과

연구 질문

• RQ1 공간-먼저, 시간-먼저, 또는 병렬 구성 중 어느 딥러닝 아키텍처 구성이 범죄 핫스팟 예측에서 가장 뛰어난 성능을 낼 수 있는가?
• RQ2 LSTM 너비 및 드롭아웃 비율과 같은 초모수는 제한된 범죄 데이터에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 배치 정규화는 제한된 범죄 데이터에서 모델의 안정성과 성능 향상에 얼마나 기여하는가?
• RQ4 다중 레이블 분류 설정은 여러 범죄 유형에 대해 수용 가능한 정확도로 동시에 핫스팟을 예측할 수 있는가?
• RQ5 제안된 딥러닝 모델은 다양한 실세계 범죄 데이터셋에서 10개의 최신 기계학습 기법과 비교해 어떻게 정량적으로 성능을 냈는가?

주요 결과

• SFTT 모델은 ResNet 기반의 공간적 특징 추출과 병렬 시간 모델링을 통해 모든 다섯 개의 데이터셋에서 가장 높은 F1 점수를 기록했으며, 모든 10개의 기준 모델을 초월했다.
• 50개의 은닉 뉴런만을 가진 LSTM 레이어가 거의 모든 관련 시간 패턴을 포착했으며, 넓은 네트워크는 수익 감소 효과를 보였다.
• 배치 정규화를 제거하면 성능에 심각한 하락이 발생했으며, 이는 작은 범죄 데이터셋에서 학습 안정성 확보에 있어 그 중요성을 입증한다.
• 드롭아웃 비율을 10%에서 30% 사이로 설정할 경우 일반화 능력 향상에 기여했으며, 특히 '모든 범죄' 클래스에서 두드러졌다. 그러나 높은 비율(예: 90%)은 데이터 희소성으로 인해 성능 저하를 초래했다.
• 이진 분류 모델은 '모든 범죄'를 제외한 모든 범죄 유형에서 다중 레이블 설정을 능가했으며, 클래스 불균형과 희소성로 인해 '모든 범죄'의 경우 성능이 유사했다.
• 핫스팟 확률과 범죄 수를 동시에 예측하는 이중 출력 설계 덕분에 고위험 지역의 랭킹이 향상되어 핫스팟 탐지 정확도가 향상되었다.