[논문 리뷰] An Adaptive Training-less System for Anomaly Detection in Crowd Scenes

Arindam Sikdar, Ananda S. Chowdhury|arXiv (Cornell University)|2019. 06. 03.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 사전 학습 데이터가 필요 없이 실시간으로 작동하는 학습 불필요, 적응형 이상 탐지 시스템을 제안한다. 이는 다중 객체 연관을 위해 적응형 3D-DCT를 사용하고, 국소 운동 기술을 위해 쇼킹성 조절형 광학 흐름을 활용하며, 이상 점수 평가를 위해 지구 이동 거리(Earth Mover's Distance, EMD)를 적용하여, 학습 기반 모델의 최신 기준 성능(AUC 기준, 예: UMN에서 0.982, 상하이테크에서 0.768)을 달성한다.

ABSTRACT

Anomaly detection in crowd videos has become a popular area of research for the computer vision community. Several existing methods generally perform a prior training about the scene with or without the use of labeled data. However, it is difficult to always guarantee the availability of prior data, especially, for scenarios like remote area surveillance. To address such challenge, we propose an adaptive training-less system capable of detecting anomaly on-the-fly while dynamically estimating and adjusting response based on certain parameters. This makes our system both training-less and adaptive in nature. Our pipeline consists of three main components, namely, adaptive 3D-DCT model for multi-object detection-based association, local motion structure description through saliency modulated optic flow, and anomaly detection based on earth movers distance (EMD). The proposed model, despite being training-free, is found to achieve comparable performance with several state-of-the-art methods on the publicly available UCSD, UMN, CHUK-Avenue and ShanghaiTech datasets.

연구 동기 및 목표

• 라벨이 부여된 학습 데이터가 없는 감시 환경, 특히 원격 또는 데이터가 적은 환경에서 이상 탐지 문제를 해결한다.
• 입자 유사 상호작용에 대한 가정 없이도 사전 학습 없이 실시간으로 이상을 탐지할 수 있는 시스템을 개발한다.
• 쇼킹성 기반 운동 기술자와 실시간 영역 제안을 통해 비정상적인 이상 현상에 동적으로 적응할 수 있도록 한다.
• 학습 기반 모델의 최신 기준 성능에 준하는 성능을 달성하면서도, 모델 미세조정이나 분포 기반 사전 학습이 필요 없도록 한다.

제안 방법

• 비디오 클립에서 스펙트럼 시간적 특징을 추출하기 위해 적응형 3D-DCT 모델을 활용하여, 추적 없이도 다중 객체 탐지 및 연관을 수행한다.
• 국소 운동 구조를 기술하기 위해 쇼킹성 조절형 광학 흐름을 사용하여, 주목할 만한 영역에 집중함으로써 비정상적인 운동 패턴에 대한 민감도를 향상시킨다.
• 지구 이동 거리(EMD)를 적용하여 국소 운동 기술자 분포를 학습된 정상 패턴과 비교하고, 분포의 이탈에 기반해 이상을 식별한다.
• 쇼킹성과 운동 구조에 기반해 동적으로 영역 제안을 생성함으로써 계산을 잠재적으로 이상적인 영역에 집중시켜 실시간, 적응형 추론을 가능하게 한다.
• 모든 구성 요소를 종단 간 학습 없는 파이프라인으로 통합하여 실시간으로 작동하며, 분류기 학습이나 분포 피팅의 어떤 형태도 피한다.
• 3D-DCT와 EMD의 본질적 강건성을 활용하여 조명, 시점, 군중 밀도의 변동에도 재학습 없이 대처할 수 있다.

실험 결과

연구 질문

• RQ1 학습 불필요 시스템이 레이블이 없는 데이터나 사전 학습 모델에 의존하지 않고 다양한 군중 영상 벤치마크에서 경쟁력 있는 이상 탐지 성능을 달성할 수 있는가?
• RQ2 적응형 영역 제안과 쇼킹성 기반 광학 흐름은 동적인 군중 환경에서 비정상적이고 드문 이상 현상을 탐지하는 데 얼마나 효과적인가?
• RQ3 3D-DCT와 EMD의 조합이 입자 역학에 대한 가정 없이도 학습 없이 강건하고 실시간 이상 탐지 기능을 제공할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 벤치마크 데이터셋에서 최신 기준 학습 기반 방법과 비교해 성능 및 효율성 측면에서 제안된 시스템은 어떤가?

주요 결과

• 제안된 시스템은 UMN 데이터셋에서 AUC 0.982를 달성하여, [6] 및 H-MDT-CRF와 같은 여러 학습 기반 방법을 초월했다.
• CHUK-Avenue 데이터셋에서 시스템은 AUC 0.8099를 기록하여 2위를 차지하며, Conv-AE [14], Del 등 [13], TSC [23]를 모두 앞섰다.
• 더 복잡한 상하이테크 캠퍼스 데이터셋에서 시스템은 최고의 AUC 0.768을 기록하여, sRNN [23]를 8.8% 뛰어넘고 다른 기준 모델들보다도 뛰어났다.
• 표준 하드웨어(3 GHz CPU, 8GB RAM)에서 시스템은 프레임당 2.17~3.25초의 시간으로 영상 프레임을 처리했으며, GPU 가속이나 코드 최적화 없이도 가능했다.
• 쇼킹성 탐지 구성 요소는 UMN에서 AUC 0.9823을 기록하여 RWRV(0.9702)를 뛰어넘었고, SP-Liu(0.9896)에 가까운 성능을 보였다.
• 완전히 학습 불필요한 방법임에도 불구하고, 분포 피팅이나 분류기 학습에 의존하는 최신 기준 방법들과 비교해 유사한 성능을 달성했다.