[논문 리뷰] Holistic Features For Real-Time Crowd Behaviour Anomaly Detection

Mark Marsden, Kevin McGuinness외 2명|arXiv (Cornell University)|2016. 06. 16.

Anomaly Detection Techniques and Applications참고 문헌 5인용 수 7

한 줄 요약

이 논문은 실시간으로 작동하며 낮은 차원의 통합적 특징 집합을 제안한다. 이 특징 집합은 군중의 집합성, 갈등, 평균 운동 속도, 그리고 새로운 군중 밀도 공식을 포함한다. 이는 비정상적인 군중 행동을 탐지하기 위한 것이다. 가우시안 혼합 모델(GMM) 또는 서포트 벡터 머신(SVM)을 사용하여, 일반 하드웨어에서 40 FPS로 처리하면서도 폭력적 흐름 데이터셋에서 최신 기술 수준의 정확도(평균 정확도 85.53%)를 달성한다.

ABSTRACT

This paper presents a new approach to crowd behaviour anomaly detection that uses a set of efficiently computed, easily interpretable, scene-level holistic features. This low-dimensional descriptor combines two features from the literature: crowd collectiveness [1] and crowd conflict [2], with two newly developed crowd features: mean motion speed and a new formulation of crowd density. Two different anomaly detection approaches are investigated using these features. When only normal training data is available we use a Gaussian Mixture Model (GMM) for outlier detection. When both normal and abnormal training data is available we use a Support Vector Machine (SVM) for binary classification. We evaluate on two crowd behaviour anomaly detection datasets, achieving both state-of-the-art classification performance on the violent-flows dataset [3] as well as better than real-time processing performance (40 frames per second).

연구 동기 및 목표

• 대규모 감시 시스템에서 실시간으로 확장 가능한 군중 행동 이질행동 탐지의 과제를 해결한다.
• 비정상 데이터 훈련 자료의 부족을 극복하기 위해 정상 데이터만으로도 효과적으로 작동하는 방법을 개발한다.
• 효율적인 계산을 위해 장면 수준의 군중 역학을 포괄하는 저차원의 해석 가능한 특징 집합을 설계한다.
• 표준 데이터셋에서 실시간 성능(40 FPS)을 유지하면서도 높은 탐지 정확도를 달성한다.
• 다양한 감시 시나리오에서의 강건성을 입증하기 위해 교차 장면 훈련 및 추론을 활용한다.

제안 방법

• 배경 추분(Gaussian Mixture Model)을 사용하여 트랙렛을 추출하고, 형태학적 필터링 및 KLT 추적(30프레임 재초기화)을 적용한다.
• 프레임당 네 가지 통합적 특징을 계산한다: 군중 집합성, 군중 갈등, 평균 운동 속도, 그리고 새로운 적응형 군중 밀도 공식.
• 특징 추정의 시간적 안정성을 확보하기 위해 지수 이동 평균 필터링을 적용한다.
• 정상 훈련 데이터만 사용 가능한 경우, 이상치 탐지에 위해 전체 공분산 행렬을 사용한 GMM을 적용한다.
• 정상 및 비정상 훈련 데이터가 모두 이용 가능한 경우, 이진 분류를 위해 SVM을 사용한다.
• 프레임 수준의 예측 결과를 다수결 투표 방식으로 통합하여 전체 영상 클립을 분류하며, GMM 기반 임계값 설정을 Otsu의 방법을 통해 클립 수준의 분류를 수행한다.

실험 결과

연구 질문

• RQ1 저차원의 장면 수준 통합적 특징 집합이 실시간으로 비정상 군중 행동을 효과적으로 탐지할 수 있는가?
• RQ2 특히 평균 운동 속도와 새로운 군중 밀도 특징이 기존 방법과 비교해 탐지 성능에 어떤 기여를 하는가?
• RQ3 비정상 훈련 데이터가 없을 경우 GMM 기반 이상치 탐지 접근법이 어느 정도의 성능을 보일 수 있는가?
• RQ4 실제 감시 시나리오에서 교차 장면 일반화 성능은 단일 장면 훈련에 비해 어떻게 비교되는가?
• RQ5 제안된 방법이 표준 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 고속 처리(≥40 FPS)를 유지할 수 있는가?

주요 결과

• 제안된 방법은 정상 및 비정상 훈련 데이터를 모두 사용하는 SVM 기반 분류기로 폭력적 흐름 데이터셋에서 최신 기술 수준의 평균 정확도 85.53% ± 0.17%를 달성한다.
• 정상 훈련 데이터만으로도 GMM 기반 접근법이 65.8% ± 0.15%의 정확도를 달성하여 자료가 부족한 조건에서도 뛰어난 성능을 보여준다.
• 영상 처리 속도가 40 프레임/초이며, 이는 MDT(0.9 FPS) 및 CM(5 FPS)와 같은 이전 방법들보다 계산 효율성이 뛰어나다.
• 특징 중 하나를 제외할 경우 정확도가 유의미하게 감소하며, 특히 군중 갈등(제외 시 65.5%)과 군중 밀도(제외 시 63.5%)를 제외했을 때 성능 저하가 가장 심각하다.
• GMM 기반 교차 장면 탐지에서 UMN 데이터셋에서 AUC 86.9%를 달성하여 도메인 이동에도 불구하고 강력한 일반화 능력을 보여준다.
• 4차원의 통합적 특징 벡터(군중 집합성, 갈등, 평균 운동 속도, 적응형 밀도)는 실시간 이질행동 탐지에 매우 효과적이며 해석 가능한 특징임을 입증한다.