[논문 리뷰] Detecting abnormal events in video using Narrowed Motion Clusters.

Radu Tudor Ionescu, Sorina Smeureanu외 2명|arXiv (Cornell University)|2018. 01. 12.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 정상 비디오에서 운동 특징을 기반으로 이상 이벤트를 탐지하기 위해 k-means 군집화와 one-class SVM를 사용하는 이단계 이상 이벤트 탐지 프레임워크를 제안한다. 희박한 군집을 제거하고 나머지 군집의 경계를 수축시킴으로써, GPU 가속을 요구하지 않고도 CPU에서 30 FPS로 실시간 탐지를 달성하면서 동시에 네 개의 벤치마크 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

We formulate the abnormal event detection problem as an outlier detection task and we propose a two-stage algorithm based on k-means clustering and one-class Support Vector Machines (SVM) to eliminate outliers. After extracting motion features from the training video containing only normal events, we apply k-means clustering to find clusters representing different types of motion. In the first stage, we consider that clusters with fewer samples (with respect to a given threshold) contain only outliers and we eliminate these clusters altogether. In the second stage, we shrink the borders of the remaining clusters by training a one-class SVM model on each cluster. To detected abnormal events in the test video, we analyze each test sample and consider its maximum normality score provided by the trained one-class SVM models, based on the intuition that a test sample can belong to only one cluster of normal motion. If the test sample does not fit well in any narrowed cluster, than it is labeled as abnormal. We also combine our approach based on motion features with a recent approach based on deep appearance features extracted with pre-trained convolutional neural networks (CNN). We combine our two-stage algorithm with the deep framework using a late fusion strategy, keeping the pipelines of the two approaches independent. We compare our method with several state-of-the-art supervised and unsupervised methods on four benchmark data sets. The empirical results indicate that our abnormal event detection framework can achieve better results in most cases, while processing the test video in real-time at 30 frames per second on CPU.

연구 동기 및 목표

• 정상 훈련 데이터만 제공되는 비디오 시퀀스에서 이상 이벤트를 탐지하는 과제를 해결하기 위해.
• 운동 기반 이상 탐지의 강건성을 높이기 위해 파ip라인의 초기 단계에서 희박하고 이상치에 취약한 운동 군집을 조기에 필터링하기 위해.
• one-class SVM를 사용하여 정상 운동 군집의 결정 경계를 정밀하게 조정함으로써 탐지 정확도를 향상시키기 위해.
• 사전 훈련된 CNN에서 추출한 깊이 있는 외관 특징과 운동 기반 탐지를 후기 융합을 통해 통합함으로써 성능을 향상시키기 위해.
• GPU 가속을 요구하지 않고도 CPU에서 30 FPS로 실시간 추론을 달성하기 위해.

제안 방법

• 정상 이벤트만 포함된 훈련 비디오에서 추출한 운동 특징에 k-means 군집화를 적용하여 유사한 운동 패턴을 그룹화하기 위해.
• 사전 정의된 임계값 이하의 샘플 수를 가진 군집을 제거하여 이상치를 나타낸다고 가정하기 위해.
• 남은 군집 각각에 대해 one-class SVM를 훈련시어 그 군집의 경계를 수축시키고 정상 운동의 더 좁은 영역을 정의하기 위해.
• 테스트 샘플에 대해 모든 훈련된 one-class SVM 모델에서의 최대 정상성 점수를 계산하여 샘플이 어느 정상 군집에도 잘 맞는지 판단하기 위해.
• 최대 점수 기준값을 초과하지 못할 경우, 테스트 샘플을 이상으로 레이블링하기 위해.
• 운동 기반 탐지 프레임워크와 깊이 있는 외관 특징 파이프라인을 후기 융합을 통해 통합하면서 두 스트림 간의 독립성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 희박한 운동 군집을 제거하는 것이 비디오에서 이상 이벤트 탐지 정확도를 향상시키는가?
• RQ2 one-class SVM를 사용해 군집 경계를 수축시키는 것이 미세한 이상 이벤트의 탐지 성능을 향상시키는가?
• RQ3 후기 융합을 통해 운동 특징과 깊이 있는 외관 특징을 융합하면 단독으로 사용할 경우보다 성능 향상이 이루어지는가?
• RQ4 제안된 방법은 GPU 가속 없이도 CPU에서 30 FPS로 실시간 추론이 가능한가?
• RQ5 기본 벤치마크에서 최신 기술의 지도 학습 및 비지도 학습 이상 탐지 방법과 비교해 성능가 어떻게 되는가?

주요 결과

• 제안된 방법은 네 개의 벤치마크 데이터셋에서 여러 최신 기술의 지도 학습 및 비지도 학습 방법보다 뛰어난 탐지 성능을 달성한다.
• 프레임워크는 GPU를 사용하지 않고도 CPU에서 30 프레임/초로 테스트 비디오를 실시간으로 처리하여 높은 효율성을 입증한다.
• 후기 융합을 통해 운동 특징과 깊이 있는 외관 특징을 융합함으로써, 단독으로 어떤 모odalitiy를 사용할 경우보다 더 높은 탐지 정확도를 달성한다.
• 이중 단계 접근 방식인 군집 제거 후 one-class SVM를 이용한 경계 정밀 조정은 이상치에 취약한 군집을 조기에 제거함으로써 잘못된 경고 수를 효과적으로 줄인다.
• 핵심 탐지 메커니즘이 비지도 학습 방식이므로, 예측되지 않은 이상 이벤트에 대해서도 강력한 일반화 성능을 유지한다.