[논문 리뷰] Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks

Jefferson Ryan Medel, Andreas Savakis|arXiv (Cornell University)|2016. 12. 01.

Anomaly Detection Techniques and Applications참고 문헌 17인용 수 206

한 줄 요약

이 논문은 한정된 입력 프레임에서 비디오 시퀀스를 예측하고 재구성 오류를 사용하여 이상을 식별하는 엔드-투-엔드 합성 Conv-LSTM 네트워크를 제시한다.

ABSTRACT

Automating the detection of anomalous events within long video sequences is challenging due to the ambiguity of how such events are defined. We approach the problem by learning generative models that can identify anomalies in videos using limited supervision. We propose end-to-end trainable composite Convolutional Long Short-Term Memory (Conv-LSTM) networks that are able to predict the evolution of a video sequence from a small number of input frames. Regularity scores are derived from the reconstruction errors of a set of predictions with abnormal video sequences yielding lower regularity scores as they diverge further from the actual sequence over time. The models utilize a composite structure and examine the effects of conditioning in learning more meaningful representations. The best model is chosen based on the reconstruction and prediction accuracy. The Conv-LSTM models are evaluated both qualitatively and quantitatively, demonstrating competitive results on anomaly detection datasets. Conv-LSTM units are shown to be an effective tool for modeling and predicting video sequences.

연구 동기 및 목표

• 제한된 감독 하에 장기간 비디오 시퀀스에서 자동 이상 탐지를 가능하게 하는 동기를 제시한다.
• 소수 프레임으로 비디오 evolution을 예측하는 학습 가능한 생성 모델을 개발한다.
• conditioning 및 합성 Conv-LSTM 구조가 학습 표현에 미치는 영향을 조사한다.
• 예측적 접근과 재구성 기반 접근을 비교하여 이상 탐지를 평가한다.
• Conv-LSTM 유닛이 비디오 시퀀스의 모델링 및 예측에 효과적임을 입증한다.

제안 방법

• 소수의 입력 프레임에서 미래의 비디오 프레임을 예측하는 엔드-투-엔드 학습 가능 합성 Conv-LSTM 네트워크를 설계한다.
• 다중 예측에 걸친 재구성 오차를 활용하여 시퀀스의 규칙성 점수를 도출한다.
• Conv-LSTM 프레임워크 내에서 conditioning 전략을 탐색하여 더 의미 있는 표현을 학습한다.
• 재구성과 예측 정확도를 기반으로 이상 데이터셋에서 최적의 모델을 선택한다.
• 모델을 정성적, 정량적으로 평가하여 경쟁력 있는 성능을 입증한다.

실험 결과

연구 질문

• RQ1 제한된 프레임으로 비디오의 변화를 예측적으로 예측하는 Conv-LSTM 네트워크가 신뢰성 있게 예측할 수 있는가?
• RQ2 conditioning 및 합성 아키텍처가 이상 탐지를 위한 학습 표현에 어떤 영향을 미치는가?
• RQ3 재구성 기반 규칙성 점수가 비디오 시퀀스의 이상 이벤트와 상관관계가 있는가?
• RQ4 예측 모델이 표준 데이터셋의 기존 이상 탐지 접근법과 경쟁력이 있는가?

주요 결과

• Conv-LSTM 네트워크가 이상 탐지를 위해 비디오 시퀀스를 효과적으로 모델링하고 예측할 수 있다.
• 다중 예측에 걸친 재구성 오차는 일반적인 시퀀스와 이상한 시퀀스를 구분하는 규칙성 점수를 제공한다.
• Conv-LSTM 내 합성 conditioning은 이상 탐지에 관련된 표현 학습을 향상시킨다.
• 정성적 및 정량적 평가에서 이상 탐지 데이터셋에서 경쟁력 있는 결과를 보인다.