[논문 리뷰] Detection of Unknown Anomalies in Streaming Videos with Generative Energy-based Boltzmann Models

Hung Vu, Tu Dinh Nguyen외 1명|arXiv (Cornell University)|2018. 05. 03.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 5

한 줄 요약

이 논문은 원시 비디오 픽셀에서 직접 계층적 표현을 학습하여 엔드 투 엔드 이상 탐지가 가능한 비지도 이상 탐지 프레임워크인 에너지 기반 이상 탐지기(Energy-based Anomaly Detector, EAD)를 제안한다. 제안된 방법은 재구성 오차를 활용하여 강력한 성능을 달성하며, DBM 기반 모델에서 장면 클러스터링과 재구성 기능을 동시에 구현함으로써 유일하게 통합된 시나리오를 제공한다.

ABSTRACT

Abnormal event detection is one of the important objectives in research and practical applications of video surveillance. However, there are still three challenging problems for most anomaly detection systems in practical setting: limited labeled data, ambiguous definition of "abnormal" and expensive feature engineering steps. This paper introduces a unified detection framework to handle these challenges using energy-based models, which are powerful tools for unsupervised representation learning. Our proposed models are firstly trained on unlabeled raw pixels of image frames from an input video rather than hand-crafted visual features; and then identify the locations of abnormal objects based on the errors between the input video and its reconstruction produced by the models. To handle video stream, we develop an online version of our framework, wherein the model parameters are updated incrementally with the image frames arriving on the fly. Our experiments show that our detectors, using Restricted Boltzmann Machines (RBMs) and Deep Boltzmann Machines (DBMs) as core modules, achieve superior anomaly detection performance to unsupervised baselines and obtain accuracy comparable with the state-of-the-art approaches when evaluating at the pixel-level. More importantly, we discover that our system trained with DBMs is able to simultaneously perform scene clustering and scene reconstruction. This capacity not only distinguishes our method from other existing detectors but also offers a unique tool to investigate and understand how the model works.

연구 동기 및 목표

• 라벨이 부족한 비디오 이상 탐지 문제를 해결하기 위해 비지도 학습 프레임워크를 개발한다.
• 이상 사건을 정의하는 데 애매함을 해결하기 위해 데이터의 정규성과 재구성 오차를 통한 이탈 탐지를 모델링한다.
• 비용이 많이 들고 작업에 특화된 수작업 특징 추출에 의존하지 않도록 원시 픽셀 데이터에서 직접 표현을 학습한다.
• 실시간 비디오 스트림에서 이상 탐지를 가능하게 하기 위해 프레임워크의 온라인 및 점진적 학습 버전을 설계한다.
• 깊이 있는 아키텍처에서 클러스터링과 재구성 레이어를 연결하여 모델의 해석 가능성을 제공하고, 모델 행동에 대한 통찰을 확보한다.

제안 방법

• 비라벨링된 원시 비디오 프레임을 기반으로 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs)와 딥 볼츠만 기계(Deep Boltzmann Machines, DBMs)를 훈련하여 계층적 특징 표현을 학습한다.
• 입력 프레임와 재구성된 프레임 간의 재구성 오차를 이상도 수치로 사용하여 이상 영역을 고오차 영역으로 식별한다.
• 실시간으로 도착하는 새로운 비디오 프레임에 따라 모델 파라미터를 점진적으로 업데이트하는 온라인 학습 변형을 구현한다.
• 다중 해상도 특징 추출을 위해 비디오 프레임을 재스케일링하고 패치로 분할하여 강건한 표현 학습을 달성한다.
• DBM의 클러스터링 레이어와 재구성 레이어 간의 공유 가중치 행렬을 활용하여 장면 클러스터링과 재구성 정확도 간의 일치를 보장한다.
• 레이어 간의 활성화 패턴을 시각화하여 모델의 결정을 해석하고, 예를 들어 먼 곳의 자전거 타는 사람을 보행자로 잘못 식별하는 등의 오류를 디버깅한다.

실험 결과

연구 질문

• RQ1 원시 픽셀에서 훈련된 에너지 기반 모델은 라벨 없이 스트리밍 비디오에서 알려지지 않은 이상 현상을 탐지할 수 있는가?
• RQ2 제안된 프레임워크는 비지도 및 최신 딥 러닝 방법과 비교해 이상 탐지 정확도에서 어떤가?
• RQ3 DBM의 통합된 클러스터링 및 재구성 기능이 모델의 해석 가능성과 디버깅에 얼마나 기여하는가?
• RQ4 점진적 파라미터 업데이트를 통해 실시간 비디오 스트림 처리 중에도 높은 성능을 유지할 수 있는가?
• RQ5 은닉 레이어 활성화의 시각화가 모델 행동을 설명하고 체계적인 오류를 드러내는 데 어떻게 기여하는가?

주요 결과

• DBM 기반 EAD 프레임워크는 UCSD Ped 1, Ped 2 및 Avenue 데이터셋에서 픽셀 수준 이상 탐지에서 최신 딥 러닝 모델과 유사한 성능을 달성한다.
• 비지도 EAD 시스템은 다른 비지도 베이스라인보다 이상 탐지 정확도에서 뛰어난 성능을 보이며, 원시 픽셀에서의 엔드 투 엔드 표현 학습의 효과성을 입증한다.
• DBM 기반 EAD 모델은 동시에 장면 클러스터링과 재구성을 수행하여, 일치하는 은닉 레이어 표현을 통해 독특한 해석 가능성을 제공한다.
• 활성화 패턴의 시각화 결과, 모델이 유사한 저수준 특징으로 인해 먼 곳의 자전거 타는 사람을 보행자로 잘못 식별하는 것으로 나타나 오류에 대한 합리적인 설명을 제공한다.
• 동일한 클러스터 상태(예: 보행자 유무에 관계없이 보도)를 가진 패치에 대해 DBM의 재구성 레이어가 다르게 반응함으로써, 공유된 클러스터 아이덴티티에도 불구하고 국소 콘텐츠에 민감함을 보임을 확인한다.
• DBM 기반 EAD 프레임워크는 클러스터링 레이어 반응이 시스템의 내부 결정 과정을 직접 반영하므로 신뢰할 수 있고 해석 가능한 모델을 제공한다. 이는 RBM 기반 모델과 달리 모듈 간의 분리가 없는 특징이다.