[논문 리뷰] Deep Learning for Real-Time Crime Forecasting and its Ternarization

Bao Wang, Penghang Yin외 4명|arXiv (Cornell University)|2017. 11. 23.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 20

한 줄 요약

이 논문은 라스베가스에서 시간대별 실시간 범죄 예측을 위한 공간-시간 잔차 신경망(ST-ResNet)을 제안하며, 시간 누적 집계와 공간 슈퍼레졸루션을 통해 희소성을 개선하는 새로운 범죄 데이터 표현 방식을 사용한다. 모델은 완전히 3분법화되었을 때도 높은 정확도를 유지하며, 자원이 제한된 장치에 배포하기 위해 메모리와 에너지 소비를 줄인다.

ABSTRACT

Real-time crime forecasting is important. However, accurate prediction of when and where the next crime will happen is difficult. No known physical model provides a reasonable approximation to such a complex system. Historical crime data are sparse in both space and time and the signal of interests is weak. In this work, we first present a proper representation of crime data. We then adapt the spatial temporal residual network on the well represented data to predict the distribution of crime in Los Angeles at the scale of hours in neighborhood-sized parcels. These experiments as well as comparisons with several existing approaches to prediction demonstrate the superiority of the proposed model in terms of accuracy. Finally, we present a ternarization technique to address the resource consumption issue for its deployment in real world. This work is an extension of our short conference proceeding paper [Wang et al, Arxiv 1707.03340].

연구 동기 및 목표

• 희소하고 확률적인 범죄 데이터를 고려할 때도 세밀한 공간-시간 척도에서 정확한 실시간 범죄 예측에 도전한다.
• 기존의 분류 기반 모델의 한계를 극복하기 위해 범죄 강도를 회귀 문제로 모델링하여 더 정교한 예측을 가능하게 한다.
• 3분법화를 도입하여 모델의 효율성을 향상시켜 실제 환경에서의 배포에 유리하게 만들며, 정확도 손실 없이 메모리와 계산 비용을 줄인다.
• 시간적 및 공간적 신호 강화 기법을 통해 희소한 범죄 데이터의 약한 신호를 향상시키는 강력한 데이터 표현 방식을 개발한다.

제안 방법

• 각 픽셀이 주어진 시간대에 특정 지역 격자 내에서 발생한 범죄 건수를 나타내는 공간-시간 이미지로 범죄 데이터를 표현한다.
• 시간 차원에서 일일 누적 범죄 집계를 적용하여 예측 가능한 패턴을 강화하고 노이즈를 감소시킨다.
• 이중선형 보간을 사용해 공간 슈퍼레졸루션을 구현하여 공간 해상도를 향상시키고 국지적 범죄 동역학을 포착한다.
• 잔차 학습을 활용해 복잡한 공간-시간 의존성을 모델링하기 위해 ST-ResNet 아키텍처를 적응시킨다.
• 가중치를 {-1, 0, +1}로 제약하고 학습 가능한 스케일링 인자를 도입해 모델 크기와 에너지 소비를 줄이는 3분법화 가중치 양자화 기법을 구현한다.
• 두 단계의 훈련 과정을 사용한다: 먼저 ADAM을 통해 정밀도가 높은 가중치를 훈련한 후, 성능 유지를 위해 투영 함수를 사용해 이 가중치를 3분법화 값으로 변환한다.

실험 결과

연구 질문

• RQ1 희소하고 확률적인 데이터를 바탕으로 하더라도, 깊이 있는 학습 모델이 마이크로 지리적 지역에서 시간대별로 범죄 강도를 효과적으로 예측할 수 있는가?
• RQ2 시간 누적 집계와 공간 슈퍼레졸루션을 조합한 제안된 데이터 표현 방식이 원시 범죄 데이터에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ3 ST-ResNet 가중치의 3분법화가 예측 정확도를 유지하면서 모델 크기와 추론 비용을 얼마나 줄이는가?
• RQ4 분류 기반 접근 방식에 비해, 회귀 기반 ST-ResNet 모델이 범죄 발생 수의 진정된 분포를 얼마나 잘 포착하는가?
• RQ5 양자화 기법을 통해 계산 자원이 제한된 모바일 또는 엣지 장치에 효과적으로 배포될 수 있는가?

주요 결과

• 제안된 ST-ResNet 모델은 전체 정밀도 버전에서 테스트 RMSE가 0.207을 기록하여 시간대별로 범죄 강도를 높은 정확도로 예측함을 보여준다.
• 완전히 3분법화된 ST-ResNet 모델은 테스트 RMSE가 0.242로 약간의 성능 저하를 보였지만, 32배 메모리 감소에도 불구하고 정확도 손실가 최소한이다.
• 3분법화는 32비트 부동소수점 가중치를 1비트 3분법화 값과 하나의 스케일링 인자로 대체함으로써 모델 크기를 줄이고 추론 속도를 향상시킨다.
• 시간 누적 집계와 공간 슈퍼레졸루션의 조합은 희소한 범죄 데이터에서 신호 강도를 크게 향상시켜 모델의 일반화 능력을 향상시킨다.
• 이분법 분류 모델에 비해 회귀 기반 접근 방식이 범죄 건수의 전체 분포를 포착하므로 더 뛰어난 성능을 보인다.
• 모델은 확장 가능하며, 경찰의 실시간 배치 계획 수립을 위한 실질적인 예측을 제공할 수 있는 법집행 분야에 적합하다.