[논문 리뷰] Energy-based Models for Video Anomaly Detection

Hung Vu, Dinh Phung외 3명|arXiv (Cornell University)|2017. 08. 17.

Anomaly Detection Techniques and Applications참고 문헌 53인용 수 16

한 줄 요약

이 논문은 비정상 데이터가 없는 레이블이 없는 데이터로부터 정상 패턴을 학습하고 재구성 오차를 통해 이상을 탐지하기 위해 에너지 기반 모델, 특히 제한된 볼츠만 기계(RBMs)를 사용하는 비지도 비디오 이상 탐지 프레임워크를 제안한다. 이 방법은 UCSD Ped1, Ped2 및 Avenue와 같은 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 수동 특징 공학이나 이상 레이블이 필요 없이도 기존의 기준 모델을 능가하거나 이를 따라잡는다.

ABSTRACT

Automated detection of abnormalities in data has been studied in research area in recent years because of its diverse applications in practice including video surveillance, industrial damage detection and network intrusion detection. However, building an effective anomaly detection system is a non-trivial task since it requires to tackle challenging issues of the shortage of annotated data, inability of defining anomaly objects explicitly and the expensive cost of feature engineering procedure. Unlike existing appoaches which only partially solve these problems, we develop a unique framework to cope the problems above simultaneously. Instead of hanlding with ambiguous definition of anomaly objects, we propose to work with regular patterns whose unlabeled data is abundant and usually easy to collect in practice. This allows our system to be trained completely in an unsupervised procedure and liberate us from the need for costly data annotation. By learning generative model that capture the normality distribution in data, we can isolate abnormal data points that result in low normality scores (high abnormality scores). Moreover, by leverage on the power of generative networks, i.e. energy-based models, we are also able to learn the feature representation automatically rather than replying on hand-crafted features that have been dominating anomaly detection research over many decades. We demonstrate our proposal on the specific application of video anomaly detection and the experimental results indicate that our method performs better than baselines and are comparable with state-of-the-art methods in many benchmark video anomaly detection datasets.

연구 동기 및 목표

• 비디오 이상 탐지에서 레이블이 부여된 이상 데이터의 부족 문제를 해결하기 위해 레이블이 없는 정상 데이터의 풍부한 자원을 활용하고자 한다.
• 비용이 많이 들고 오류가 발생하기 쉬운 수동 특징 공학에 의존하는 것을 제거하기 위해 딥 생성 모델을 통해 표현을 자동으로 학습하고자 한다.
• 에너지 기반 모델을 사용하여 정상성 분포를 모델링하는 통합된 프레임워크를 개발하여, 정상성 점수가 낮은 데이터 포인트를 이상으로 탐지할 수 있도록 하고자 한다.
• 프레임 수준 및 픽셀 수준의 재구성 오차를 동시에 분석함으로써 이상 영역의 국소화 정확도를 향상시키고자 한다.
• 일반적인 딥 네트워크를 넘어서 비디오 이상 탐지에 특화된 딥 생성 네트워크의 기반을 마련하고자 한다.

제안 방법

• 프레임워크는 레이블이 없는 데이터에서 정상 비디오 패턴의 기본 분포를 학습하기 위해 에너지 기반 모델로 제한된 볼츠만 기계(RBMs)를 사용한다.
• 이상은 재구성 오차를 측정하여 탐지한다: 높은 오차는 학습된 정상 분포 하에서 낮은 가능성과 함께 비정상성을 시사한다.
• 모델은 비지도 방식으로 작동하며, 이상 레이블이 전혀 필요 없이 정상 비디오 클립만으로 훈련된다.
• 특징 표현은 RBM에 의해 종단 간(end-to-end)으로 학습되며, 기존의 수동 특징 추출 파이프라인을 우회한다.
• 성능 평가는 세 가지 수준에서 평가된다: 프레임 수준, 픽셀 수준, 이중 수준(프레임 및 픽셀 점수의 통합), α=5%의 융합 전략을 사용한다.
• 재구성 점수는 여러 벤치마크 데이터셋에서 정량적 평가를 위한 AUC 및 EER 지표를 계산하는 데 사용된다.

실험 결과

연구 질문

• RQ1 오직 정상 비디오 데이터만으로 훈련된 에너지 기반 모델이 이상 레이블이 전혀 없이도 이상을 효과적으로 탐지할 수 있는가?
• RQ2 기존의 방법들인 PCA, OC-SVM, GMM 및 오토에인코더와 비교할 때 RBM 기반 재구성 성능는 표준 비디오 이상 탐지 벤치마크에서 어떻게 성과를 내는가?
• RQ3 RBMs를 통한 비지도 표현 학습이 비디오 프레임 내 이상 영역의 국소화 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 더 깊은 아키텍처나 더 복잡한 훈련 방식을 사용하는 최신 기술 수준의 방법들과 비교해 볼 때, RBM과 같은 얕은 생성 모델이 비슷한 성능을 낼 수 있는가?
• RQ5 이 프레임워크를 딥 생성 네트워크(예: DBNs 또는 DBMs)로 확장하여 계층적 이상 탐지에 활용할 수 있는 잠재력은 무엇인가?

주요 결과

• UCSD Ped1 데이터셋에서 제안된 RBM 기반 방법은 프레임 수준에서 AUC 70.25%와 이중 픽셀 수준에서 AUC 56.08%를 기록했으며, PCA, OC-SVM, GMM 및 ConvAE를 모두 능가했다.
• UCSD Ped2 데이터셋에서 방법은 프레임 수준에서 AUC 86.43%와 이중 픽셀 수준에서 AUC 78.76%를 기록했으며, 모든 기준 모델을 크게 능가했다.
• Avenue 데이터셋에서 방법은 프레임 수준에서 AUC 74.88%와 이중 픽셀 수준에서 AUC 53.40%를 기록했으며, 다양한 비디오 시나리오에서 강력한 성능을 보였다.
• 이중 픽셀 수준 국소화에서 특히 뛰어난 성능을 보이며 공간 정밀도 향상이 확인되었고, 최신 기술 수준 모델과의 경쟁력 있는 성능를 달성했다.
• 모든 세 가지 데이터셋에서 높은 AUC와 낮은 EER 값을 기록함으로써, 정상 데이터만으로 비지도 RBM 훈련이 감독 학습 또는 복잡한 딥 러닝 기준 모델과 비교해도 유사한 탐지 성능를 낼 수 있음을 입증했다.
• 이상 가능성의 대체 지표로 재구성 오차를 사용한 아블레이션 분석이 효과적이었으며, 모든 세 데이터셋에서 높은 AUC와 낮은 EER 값을 기록했다.