[논문 리뷰] Future Frame Prediction Using Convolutional VRNN for Anomaly Detection

Yiwei Lu, Mahesh Kumar Krishna Reddy외 2명|arXiv (Cornell University)|2019. 09. 05.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 11

한 줄 요약

이 논문은 VAE 아키텍처 내에서 ConvLSTM를 통해 시간적 모델링을 구현하는 컨볼루션형 변동형 순환 신경망(Conv-VRNN)을 제안한다. 이는 비정상 탐지용 미래 프레임 예측을 위해 설계되었으며, 광학 흐름에 의존하지 않고도 공간-시간 역동성을 효과적으로 포착함으로써 세 가지 벤치마크 데이터셋에서 최신 기술을 초월한다. AUC 점수는 Ped1에서 86.26%, Ped2에서 96.06%, Avenue에서 85.78%를 기록한다.

ABSTRACT

Anomaly detection in videos aims at reporting anything that does not conform the normal behaviour or distribution. However, due to the sparsity of abnormal video clips in real life, collecting annotated data for supervised learning is exceptionally cumbersome. Inspired by the practicability of generative models for semi-supervised learning, we propose a novel sequential generative model based on variational autoencoder (VAE) for future frame prediction with convolutional LSTM (ConvLSTM). To the best of our knowledge, this is the first work that considers temporal information in future frame prediction based anomaly detection framework from the model perspective. Our experiments demonstrate that our approach is superior to the state-of-the-art methods on three benchmark datasets.

연구 동기 및 목표

• 비디오 감시에서 희박하고 균형이 깨진 이상 데이터 문제를 해결하기 위해 인간 레이블이 없는 이상 탐지 데이터를 활용한 준지도 학습 이상 탐지 방법을 제공한다.
• 재귀적 구조를 통해 시간적 의존성을 명시적으로 모델링하여 이전 방법이 프레임을 정적 입력으로 간주하는 한계를 극복함으로써 비디오의 미래 프레임 예측을 향상시키는 것.
• 종단 간 학습을 통해 정상 비디오 시퀀스의 분포를 학습하는 생성 모델을 개발함으로써 복원 기반 이상 탐지 기능을 가능하게 하는 것.
• RNN을 통해 시간 역동성을 명시적으로 모델링하는 것이 광학 흐름과 같은 보조 운동 특징에 의존하는 것보다 더 효과적인가를 평가하는 것.

제안 방법

• 입력 프레임 시퀀스에서 시간적 특징을 추출하고 잠재 공간으로 매핑하기 위해 ConvLSTM 기반 인코더를 사용한다.
• 미래 프레임 예측의 불확실성을 모델링하기 위해 스토케스틱 볼트넥을 갖춘 VAE 아키텍처를 활용함으로써 미래 프레임의 생성 모델링을 가능하게 한다.
• 잠재 표현에서 미래 프레임을 복원하기 위해 역전치 컨볼루션을 사용하는 디코더를 적용함으로써 종단 간 학습을 가능하게 한다.
• 다중 구성 요소 손실을 최적화함: 픽셀 수준 복원을 위한 L1 손실, 구조 유사성을 위한 MSSSIM, 에지 및 텍스처 보존을 위한 GDL(기울기 차이 손실).
• RNN(ConvLSTM)을 VAE 아키텍처에 직접 통합하여 장거리 시간적 의존성을 모델링함으로써 정적 프레임 인코더보다 예측 정확도를 향상시킨다.
• 예측된 미래 프레임과 실제 프레임 간의 복원 오차를 이상도 수치로 사용하며, 오차가 클수록 이상 행동으로 간주한다.

실험 결과

연구 질문

• RQ1 시간 역동성을 명시적으로 모델링하는 순차적 생성 모델이 비재귀적 모델에 비해 비디오 이상 탐지용 미래 프레임 예측 성능을 향상시킬 수 있는가?
• RQ2 광학 흐름 또는 정적 프레임 복원을 사용하는 최신 기술 대비 Conv-VRNN의 성능은 어떻게 비교되는가?
• RQ3 L1, MSSSIM, GDL 등의 다중 손실 구성 요소를 통합함으로써 복원 정밀도 향상 및 이상 탐지 성능 향상이 이루어지는가?
• RQ4 RNN을 통해 운동을 내재적으로 포착하는 모델을 설계함으로써 광학 흐름 특징에 의존하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 Conv-VRNN은 Ped1 데이터셋에서 AUC 86.26%를 기록하여 최고의 베이스라인(광학 흐름을 사용한 Conv-VAE)보다 5.11%p 높은 성능을 달성한다.
• Ped2 데이터셋에서는 96.06%의 AUC를 기록하여 다음으로 우수한 방법(광학 흐름을 사용한 Conv-VAE)의 89.52%를 크게 상회한다.
• Avenue 데이터셋에서는 85.78%의 AUC를 기록하여 광학 흐름을 사용하는 최신 기술 방법보다 3.55%p 높은 성능을 보였다.
• 제거 분석 결과, RNN 기반 시간 모델링을 통한 Conv-VRNN은 RNN이 없는 Conv-VAE 버전(86.26% 대 82.42%)보다 우수한 성능을 보이며 재귀적 모델링의 중요성을 입증한다.
• L1, MSSSIM, GDL 손실의 조합이 가장 뛰어난 성능(86.26% AUC, Ped1 기준)을 보였으며, 이는 다중 척도 구조적 및 기울기 제약 조건이 복원 정밀도를 향상시킨다는 것을 시사한다.
• 광학 흐름 특징 없이도, Conv-VRNN은 광학 흐름을 학습 제약 조건으로 사용하는 Conv-VAE 모델보다 우수한 성능을 보였으며, 이는 종단 간 시간 모델링이 보조 운동 특징보다 더 효과적임을 시사한다.