[논문 리뷰] Anomaly Detection and Localization in Crowded Scenes by Motion-field Shape Description and Similarity-based Statistical Learning

Xinfeng Zhang, Yang Su외 3명|arXiv (Cornell University)|2018. 05. 27.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

이 논문은 붐비는 감시 영상에서 비정상 행동을 비지도로 탐지하고 국소화하기 위해 운동장 형태 기술자와 K-NN 유사도 기반 통계학적 학습 방법을 제안한다. 짧은 시간 동안의 궤적을 형태 맥락을 사용하여 모델링하고, K-NN 유사도 기반의 가우시안 모델을 적용하여 저확률 사건을 탐지함으로써, 시점 왜곡에 대해 강건한 성능을 발휘하며 실제 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

In crowded scenes, detection and localization of abnormal behaviors is challenging in that high-density people make object segmentation and tracking extremely difficult. We associate the optical flows of multiple frames to capture short-term trajectories and introduce the histogram-based shape descriptor referred to as shape contexts to describe such short-term trajectories. Furthermore, we propose a K-NN similarity-based statistical model to detect anomalies over time and space, which is an unsupervised one-class learning algorithm requiring no clustering nor any prior assumption. Firstly, we retrieve the K-NN samples from the training set in regard to the testing sample, and then use the similarities between every pair of the K-NN samples to construct a Gaussian model. Finally, the probabilities of the similarities from the testing sample to the K-NN samples under the Gaussian model are calculated in the form of a joint probability. Abnormal events can be detected by judging whether the joint probability is below predefined thresholds in terms of time and space, separately. Such a scheme can adapt to the whole scene, since the probability computed as such is not affected by motion distortions arising from perspective distortion. We conduct experiments on real-world surveillance videos, and the results demonstrate that the proposed method can reliably detect and locate the abnormal events in the video sequences, outperforming the state-of-the-art approaches.

연구 동기 및 목표

• 장애물에 의한 가림과 높은 밀도로 인해 물체 추적 기술이 신뢰할 수 없는 붐비는 감시 장면에서 비정상 행동을 탐지하고 국소화하는 문제를 해결한다.
• 프로토타입 수에 대한 사전 지식이 필요하고 시점 왜곡에 민감한 클러스터링 기반 방법의 한계를 극복한다.
• 비정상 패턴에 대한 사전 가정 없이 클러스터링에 의존하지 않는 비지도, 일종의 학습 프레임워크를 개발한다.
• 시점 효과로 인한 운동 왜곡에 관계없이 동일한 유사도 기반 확률을 사용하여 전체 장면에서 강건한 비정상 행동 탐지가 가능하도록 한다.
• 다양한 비정상 행동(역행 보행, 정지 행동, 비정상적인 움직임 등)을 포함한 실제 감시 영상에서 정확한 비정상 행동 국소화를 달성한다.

제안 방법

• 영상 클립 내 다중 프레임 간 광학 흐름장을 연동하여 이동 물체의 단기 궤적을 추출한다.
• 지역 운동 패턴과 공간 구성 요소를 캡처하는 히스토GRAM 기반의 형태 기술자인 형태 맥락을 사용해 각 궤적을 표현한다.
• 각 테스트 샘플에 대해 훈련 세트에서 형태 맥락 유사도 기반으로 K-가까운 이웃(K-NN)을 검색한다.
• K-NN 샘플 간의 쌍별 유사도에 기반해 정상 행동 분포를 모델링하기 위해 가우시안 혼합 모델을 구성한다.
• 학습된 가우시안 모델 하에서 테스트 샘플과 그 K-NN 간의 유사도 조합 확률을 계산하여 비정상 가능성 평가를 수행한다.
• 공간적 및 시간적 임계값과 비교하여 조합 확률을 기반으로 비정상 행동을 탐지하고, 패치 수준에서 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 장애물과 높은 밀도로 인해 물체 추적이 신뢰할 수 없는 붐비는 장면에서 비정상 행동을 어떻게 탐지하고 국소화할 수 있는가?
• RQ2 프로토타입 수에 대한 사전 가정 없이도 클러스터링이 없는 비지도 일종의 학습 방법이 정상 운동 패턴을 효과적으로 모델링할 수 있는가?
• RQ3 시점 효과로 인한 운동 왜곡을 어떻게 완화하여 다양한 장면 영역에서 강건한 비정상 행동 탐지가 가능한가?
• RQ4 K-NN 유사도 기반의 통계 모델이 다양한 비정상 행동을 탐지하는 데 있어 기존의 복원 기반 또는 클러스터링 기반 접근법을 얼마나 능가할 수 있는가?
• RQ5 기본 진술에 포함되지 않은 비정상 행동이 아닌 비정상적인 행동(예: 어린이를 통과시키기 위해 터널을 돕는 행동)도 탐지할 수 있는가?

주요 결과

• 서브웨이 데이터셋에서 '역행 보행' 클래스에 대해 100% (10/10), '정지 행동'에 대해 100% (9/9), '기타'에 대해 100% (7/7)의 탐지율을 기록하였으며, 오직 2건의 오진 경고만 발생하였다.
• UCSDped1 데이터셋에서 기준 기법 대비 F1 점수와 AUC에서 뛰어난 성능을 보이며, 일반화 능력과 강건성을 입증하였다.
• 기본 진술에 포함되지 않은 비정상적인 행동—예를 들어 어른이 어린이를 터널을 통해 도와주는 행동이나 비정상적인 점프—도 성공적으로 탐지하여 미세한 비정상 패턴에 대한 민감도를 입증하였다.
• 최소한의 훈련 데이터로도 충분하며 클러스터링에 의존하지 않아, 변화하는 운동 패턴을 가진 동적인 장면에 쉽게 확장하고 적응할 수 있다.
• K-NN 유사도 기반 모델은 카메라와의 거리에 관계없이 일관된 성능을 보였으며, 시점 왜곡에 민감하지 않음을 확인하였다.
• K-NN 유사도에서 유도된 조합 확률은 패치 수준에서 효과적인 비정상 행동 국소화를 가능하게 하였으며, 비정상 활동이 발생하는 공간 영역을 높은 정밀도로 식별하였다.