[논문 리뷰] Object-centric Auto-encoders and Dummy Anomalies for Abnormal Event Detection in Video

Radu Tudor Ionescu, Fahad Shahbaz Khan외 2명|arXiv (Cornell University)|2018. 12. 11.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 23

한 줄 요약

이 논문은 비디오에서 비정상 이벤트 탐지를 위해 객체 중심 오토인코더 프레임워크와 one-versus-rest 다중분류 접근법을 결합한 방법을 제안한다. 비정상적인 이벤트는 희귀하고 맥락에 따라 달라지므로, 전통적인 이상 탐지 기법을 넘어서는 도전 과제를 해결하고자 한다. 비정상적인 이벤트 탐지에서 정상성 클러스터를 별개의 클래스로 간주함으로써, 비지도 오토인코더를 통해 탐지된 객체들로부터 운동 및 외관 특징을 학습함으로써 최신 기술 대비 상대적 AUC 향상 8.4%를 달성한다.

ABSTRACT

Abnormal event detection in video is a challenging vision problem. Most existing approaches formulate abnormal event detection as an outlier detection task, due to the scarcity of anomalous data during training. Because of the lack of prior information regarding abnormal events, these methods are not fully-equipped to differentiate between normal and abnormal events. In this work, we formalize abnormal event detection as a one-versus-rest binary classification problem. Our contribution is two-fold. First, we introduce an unsupervised feature learning framework based on object-centric convolutional auto-encoders to encode both motion and appearance information. Second, we propose a supervised classification approach based on clustering the training samples into normality clusters. A one-versus-rest abnormal event classifier is then employed to separate each normality cluster from the rest. For the purpose of training the classifier, the other clusters act as dummy anomalies. During inference, an object is labeled as abnormal if the highest classification score assigned by the one-versus-rest classifiers is negative. Comprehensive experiments are performed on four benchmarks: Avenue, ShanghaiTech, UCSD and UMN. Our approach provides superior results on all four data sets. On the large-scale ShanghaiTech data set, our method provides an absolute gain of 8.4% in terms of frame-level AUC compared to the state-of-the-art method [Sultani et al., CVPR 2018].

연구 동기 및 목표

• 희귀하고 맥락 의존적인 비정상 이벤트 탐지 과제를 해결하기 위해 기존의 이상 탐지 기법을 넘어서는 데 목적이 있다.
• 외관과 운동 특징을 모두 고려한 객체 중심 컨볼루션 오토인코더를 통해 장면 내 객체에 집중함으로써 특징 표현을 향상시키는 데 목적이 있다.
• 이상 탐지 문제를 이상 탐지 작업이 아닌 다중분류 문제로 공식화하고, 클러스터링을 통해 정상성 클래스를 정의하는 데 목적이 있다.
• 기타 클러스터를 가짜 이상 현상으로 간주하여 one-versus-rest 분류를 통해 합성된 이상 학습 데이터를 생성하는 데 목적이 있다.
• 객체 중심 특징 학습과 분류 기반의 판별적 학습을 결합함으로써 벤치마크 데이터셋에서 뛰어난 성능을 달성하는 데 목적이 있다.

제안 방법

• 각 프레임에서 단일 스텝 검출기(SSD)를 사용하여 관련 객체를 국소화한다.
• 탐지된 객체들로부터 추출한 외관 및 운동 특징에 대해 개별적으로 객체 중심 컨볼루션 오토인코더를 훈련시킨다.
• 오토인코더의 잠재 표현을 k-means를 사용하여 클러스터링하여 다수의 정상성 클러스터를 형성한다.
• 각 클러스터에 대해 one-versus-rest 이진 분류기를 훈련시으며, 다른 모든 클러스터를 부정(가짜 이상) 샘플로 간주한다.
• 추론 단계에서 테스트 샘플이 모든 one-versus-rest 분류기 중 최고의 분류 점수가 음수일 경우 이상으로 레이블링된다.
• 이 방법은 정상 장면에 대한 비지도 특징 학습을 유지하면서도 다중분류 학습의 판별 능력을 활용한다.

실험 결과

연구 질문

• RQ1 프레임 수준나 국소 특징 추출 방식과 비교해 객체 중심 특징 학습이 비정상 이벤트 탐지 성능 향상에 기여하는가?
• RQ2 정상성 클러스터를 활용한 다중분류 문제로 비정상 이벤트 탐지를 공식화할 경우 기존의 일괄 이상 탐지 기법보다 성능이 뛰어나지 않는가?
• RQ3 기타 클러스터를 '가짜 이상 현상'으로 사용하여 one-versus-rest 분류기 훈련을 수행할 경우 이상 탐지에 얼마나 효과적인가?
• RQ4 외관 특징와 운동 특징 중 어느 것이 비디오에서 비정상 이벤트 탐지에 더 기여하는가?
• RQ5 제안된 프레임워크는 다양한 시나리오와 복잡도, 이상 유형을 가진 다양한 비디오 벤치마크에서 일반화 가능한가?

주요 결과

• 제안된 방법은 상하이기술 대학 데이터셋에서 84.9%의 프레임 수준 AUC를 달성하였으며, 이는 최신 기술 대비 8.4%의 절대적 향상이다 [34].
• Avenue 데이터셋에서 최신 기술 대비 1.5%의 절대적 AUC 향상을 달성하였다 [14].
• 절단 실험 결과에서 객체 중심 오토인코더 특징를 제거할 경우 AUC는 72.4%로 떨어지며, 객체 수준 표현의 중요성을 입증한다.
• one-versus-rest SVM를 one-class SVM로 대체할 경우 AUC가 5.7% 감소하여 다중분류 공식의 유용성을 입증한다.
• 모델은 하이퍼파rameter 선택에 대해 강건하며, 다양한 SVM 정규화 파라미터 설정에서도 프레임 수준 AUC가 0.3% 이내로 변동된다.
• 프레임워크는 Titan Xp GPU에서 약 11 FPS로 비디오를 처리하며, 객체 검출이 주요 성능 저하 요인이다.