[논문 리뷰] Detection of Anomalous Crowd Behavior Using Spatio-Temporal Multiresolution Model and Kronecker Sum Decompositions

Kristjan Greenewald, Alfred O. Hero|arXiv (Cornell University)|2014. 01. 14.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 낮은 표본 공분산 추정을 사용하여 영상에서 비정상적인 군중 행동을 탐지하기 위해 시공간 다중해상도 모델과 크로네커 합 분해를 결합한 방법을 제안한다. 픽셀 공분산을 크로네커 곱의 합으로 표현하고, 희소 다중해상도 프레임워크를 통합함으로써, 8장의 프레임을 사용한 공분산 추정과 3항의 크로네커 합 모델을 적용하여 미네소타 대학교 군중 이질행동 데이터셋에서 최신 기술 수준의 성능을 달성하며, AUC 점수는 최대 0.9995에 이른다.

ABSTRACT

In this work we consider the problem of detecting anomalous spatio-temporal behavior in videos. Our approach is to learn the normative multiframe pixel joint distribution and detect deviations from it using a likelihood based approach. Due to the extreme lack of available training samples relative to the dimension of the distribution, we use a mean and covariance approach and consider methods of learning the spatio-temporal covariance in the low-sample regime. Our approach is to estimate the covariance using parameter reduction and sparse models. The first method considered is the representation of the covariance as a sum of Kronecker products as in (Greenewald et al 2013), which is found to be an accurate approximation in this setting. We propose learning algorithms relevant to our problem. We then consider the sparse multiresolution model of (Choi et al 2010) and apply the Kronecker product methods to it for further parameter reduction, as well as introducing modifications for enhanced efficiency and greater applicability to spatio-temporal covariance matrices. We apply our methods to the detection of crowd behavior anomalies in the University of Minnesota crowd anomaly dataset, and achieve competitive results.

연구 동기 및 목표

• 제한된 학습 데이터를 가진 군중 영상에서 비정상적인 시공간 행동을 탐지하는 문제에 대응하기 위해.
• 다중 영상 프레임에서 픽셀 강도의 결합 분포를 생성적 통계적 접근법을 통해 모델링하기 위해.
• 낮은 표본 환경에서 시공간 공분산 추정의 파라미터 수를 줄여 학습 가능성을 높이기 위해.
• 트래킹 추출에 의존하지 않고 개인에서 전체 군중에 이르기까지 다양한 척도에서 이질행동을 탐지할 수 있도록 하기 위해.
• 구조화된 공분산 모델링과 다중해상도 표현을 통해 탐지 성능과 국소화 정확도를 향상시키기 위해.

제안 방법

• 모델은 짧은 간격 동안 정적성을 가정하며, 다중프레임 영상 패치의 평균과 공분산만을 사용하여 시공간 픽셀 분포를 모델링한다.
• 시공간 공분산 행렬을 더 작은 공간 및 시간 공분산 행렬의 크로네커 곱의 합으로 표현함으로써 파라미터 수를 크게 감소시킨다.
• 영상 데이터에 적합하고 효율적인 학습 알고리즘을 개선하기 위해 크로네커 곱의 합 모델을 위한 수정된 학습 알고리즘을 제안한다.
• 계층적인 분석을 가능하게 하기 위해 공간적 및 시간적 척도에서 다중해상도 트리 기반 모델을 통합한다.
• 다중해상도 프레임워크 내에서 크로네커 분해를 적용하여 추가로 파라미터를 감소시키고 모델의 표현력을 향상시킨다.
• 다변량 정규분포를 가정한 맨하탄 거리(음의 로그우도)를 사용하여 이질행동 탐지를 수행한다.

실험 결과

연구 질문

• RQ1 낮은 표본 수에서 군중 영상 이질행동 탐지에 효과적으로 학습 가능한 시공간 공분산 모델을 만들 수 있는가?
• RQ2 공분산을 크로네커 곱의 합으로 표현하면 제한된 학습 데이터에서도 정확하고 효율적인 추정이 가능한가?
• RQ3 크로네커 분해를 통합한 다중해상도 모델이 탐지 성능과 확장성 향상에 기여하는가?
• RQ4 다중 프레임에 걸친 시간 정보 통합이 이질행동 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 군중 내에서 개인 또는 그룹 수준의 이질행동을 국소화할 수 있는가?

주요 결과

• 제안된 방법은 8장의 프레임 공분산과 3항의 크로네커 합 모델을 사용하여 미네소타 대학교 군중 이질행동 데이터셋 전체에서 AUC 0.9995를 달성했다.
• 크로네커 기반 방법은 토플리츠 구조를 가진 정규화된 표본 공분산보다 우수한 성능을 보였으며, AUC는 0.9989를 기록했다.
• 다중프레임 공분산(8장)은 단일프레임 공분산보다 유의미하게 뛰어나며, 일부 설정에서 AUC가 최대 0.011 향상되었다.
• 이 방법은 뛰기 시작하는 비정상적인 개인을 성공적으로 국소화했으며, 걷는 사람들은 정상으로 올바르게 분류했다.
• 다중해상도 모델링에서 비직사각형 트리 격자 사용으로, 마라톤과 같은 안정적인 광학 흐름을 보이는 영상에서 낮은 분리 랭크의 구조가 자연스럽게 나타났다.
• 마라톤 영상 클립을 뒤로 재생한 경우도 비정상으로 정확히 식별하여, 모델이 시간적 구조에 민감하게 반응함을 보였다.