[논문 리뷰] Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes.

Mohammad Sabokrou, Mohsen Fayyaz외 2명|arXiv (Cornell University)|2016. 09. 03.

Anomaly Detection Techniques and Applications인용 수 34

한 줄 요약

이 논문은 시간적 모델링과 계층적 외층 검출을 활용하여 비정상적인 행동을 비정상적으로 빠르게 탐지하고 국소화하기 위한 완전 컨볼루션 신경망(FCN) 기반 방법을 제안한다. 이는 무 supervision 비정상 인식을 달성한다. 이 방법은 Subway 및 UCSD 기준에서 최신 기술 수준의 정확도를 확보하면서도 370 fps의 추론 속도를 달성한다.

ABSTRACT

We present an efficient method for detecting and localizing anomalies in videos showing crowded scenes. Research on {\it fully convolutional neural networks} (FCNs) has shown the potentials of this technology for object detection and localization, especially in images. We investigate how to involve temporal data, and how to transform a supervised FCN into an unsupervised one such that the resulting FCN ensures anomaly detection. Altogether, we propose an FCN-based architecture for anomaly detection and localization in crowded scenes videos. For reducing computations and, consequently, improving performance both with respect to speed and accuracy, we investigate the use of cascaded out-layer detection. Our architecture includes two main components, one for feature representation, and one for cascaded out-layer detection. Experimental results on Subway and UCSD benchmarks confirm that the detection and localization accuracy of our method is comparable to state-of-the-art methods, but at a significantly increased speed of 370 fps.

연구 동기 및 목표

• 혼잡한 영상 장면에서 효율적이고 실시간으로 비정상 행동을 탐지하는 시스템을 개발하기 위해.
• 시간적 영상 데이터를 통합하여 감독 학습을 받는 FCN를 비정상적인 행동 탐지에 적응시키기 위해.
• 계산 비용을 줄이고 정확도를 훼손하지 않으면서 추론 속도를 향상시키기 위해.
• 복잡한 혼잡한 환경에서 비정상 행동의 정밀한 국소화를 가능하게 하기 위해.

제안 방법

• 이 방법은 두 구성 요소로 이루어진 FCN 아키텍처를 사용한다: 하나는 시공간적 특징 표현을 위한 것이고, 다른 하나는 계층적 외층 검출을 위한 것이다.
• 시간적 모델링이 FCN에 통합되어 영상 프레임 간의 운동 패턴을 포착한다.
• 영상 클립에서 정상적인 장면 패턴을 학습함으로써 비정상적인 방식으로 학습된다.
• 계층적 외층 검출은 고활성 비정상 영역에 집중함으로써 계산 부담을 줄이기 위해 사용된다.
• 외층 구성 요소의 기대되는 특징 맵에서의 편차를 식별함으로써 비정상 행동의 국소화가 이루어진다.
• 완전 연결 층을 최소화하고 공간 컨볼루션을 극대화함으로써 속도 향상을 위한 최적화가 이루어진다.

실험 결과

연구 질문

• RQ1 혼잡한 영상 장면에서 FCN가 비정상적인 행동 탐지에 효과적으로 적응될 수 있는가?
• RQ2 시간적 정보는 비정상적인 행동 탐지에 효과적으로 통합될 수 있는가?
• RQ3 계층적 외층 검출이 유의미하게 추론 시간을 단축시킬 수 있는가?
• RQ4 실시간 비정상 행동 탐지에서 속도와 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 370 fps의 실시간 추론 속도를 확보하여 이전의 방법들보다 빠르게 성능을 냈다.
• Subway 및 UCSD 기준에서 탐지 및 국소화 정확도가 최신 기술 수준의 방법들과 유사하다.
• 계층적 외층 검출을 사용함으로써 계산 복잡도를 효과적으로 줄였고 성능 저하 없이 유지되었다.
• 비정상적인 학습 전략은 정상적인 장면 패턴을 효과적으로 학습하여 효과적인 비정상 행동 탐지가 가능했다.
• FCN 내부의 시간적 모델링은 혼잡한 장면에서 비정상적인 운동 패턴을 탐지하는 데 네트워크의 능력을 향상시켰다.