[논문 리뷰] A Hybrid Video Anomaly Detection Framework via Memory-Augmented Flow Reconstruction and Flow-Guided Frame Prediction

Zhian Liu, Yongwei Nie외 3명|arXiv (Cornell University)|2021. 08. 16.

Anomaly Detection Techniques and Applications참고 문헌 46인용 수 16

한 줄 요약

이 논문은 광학 흐름을 다중 수준 메모리 증강 오토인코더와 스킵 연결을 갖춘 다중 수준 메모리 증강 오토인코더(ML-MemAE-SC)를 사용해 재구성한 후, 재구성된 흐름을 조건부로 사용해 향후 프레임을 예측하는 조건부 변동성 오토인코더(CVAE)를 조건화하는 하이브리드 비디오 이상 탐지 프레임워크 HF²-VAD를 제안한다. 이 방법은 이상 사건의 예측 오차를 흐름 재구성 품질 저하를 통해 증폭시켜 UCSD Ped2 데이터셋에서 99.31%의 AUROC를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose $ ext{HF}^2$-VAD, a Hybrid framework that integrates Flow reconstruction and Frame prediction seamlessly to handle Video Anomaly Detection. Firstly, we design the network of ML-MemAE-SC (Multi-Level Memory modules in an Autoencoder with Skip Connections) to memorize normal patterns for optical flow reconstruction so that abnormal events can be sensitively identified with larger flow reconstruction errors. More importantly, conditioned on the reconstructed flows, we then employ a Conditional Variational Autoencoder (CVAE), which captures the high correlation between video frame and optical flow, to predict the next frame given several previous frames. By CVAE, the quality of flow reconstruction essentially influences that of frame prediction. Therefore, poorly reconstructed optical flows of abnormal events further deteriorate the quality of the final predicted future frame, making the anomalies more detectable. Experimental results demonstrate the effectiveness of the proposed method. Code is available at \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}.

연구 동기 및 목표

• 라벨이 부족한 희귀하고 경계가 없는 이상 이벤트를 탐지하는 데 도전하는 것.
• 일관된 통합 프레임워크 내에서 흐름 재구성과 프레임 예측을 융합하여 이상 탐지 성능을 향상시키는 것.
• 이상 이벤트에 대한 예측 오차를 증폭하기 위해 광학 흐름 재구성 오차를 활용하여 탐지 민감도를 향상시키는 것.
• 정상적인 시공간 패턴을 더 잘 기억할 수 있도록 메모리 증강 아키텍처를 설계하여 재구성 정밀도를 향상시키는 것.

제안 방법

• ML-MemAE-SC 네트워크는 다양한 특징 수준에서 다중 메모리 모듈을 사용해 정상 광학 흐름 패턴을 기억하여 정상 이벤트에 대한 재구성 품질을 향상시킨다.
• 메모리 압축으로 인한 정보 손실를 줄이기 위해 인코더 및 디코더 블록 간에 스킵 연결을 통합한다.
• 재구성된 흐름이 CVAE 기반의 향후 프레임 예측 모델에 입력되기 이전에 광학 흐름이 ML-MemAE-SC를 사용해 재구성된다.
• CVAE는 과거 프레임과 재구성된 흐름을 조건으로 하여 향후 프레임을 예측하며, 프레임과 흐름 간의 일관성을 활용하여 예측 정확도를 향상시킨다.
• 이상 점수는 흐름 재구성 오차와 프레임 예측 오차의 합으로 계산되며, 높은 오차는 이상 이벤트를 나타낸다.
• 모델은 정상 비디오 데이터만을 사용해 종단 간(end-to-end)으로 훈련되며, 정상 다이나믹스를 학습하기 위해 재구성 오차와 예측 오차 손실을 사용한다.

실험 결과

연구 질문

• RQ1 광학 흐름 재구성과 흐름 유도 프레임 예측을 융합한 하이브리드 프레임워크가 단독의 재구성 또는 예측 방법을 넘어서 비디오 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 메모리 증강 흐름 재구성은 증가된 재구성 오차를 통해 이상 이벤트 탐지에 어떻게 기여하는가?
• RQ3 원시 흐름 대신 재구성된 흐름을 사용할 경우, 이상 탐지에서 프레임 예측의 품질과 민감도는 얼마나 향상되는가?
• RQ4 다중 수준 메모리 모듈과 스킵 연결은 흐름 재구성과 후속 예측 성능 향상에 어떤 기여를 하는가?

주요 결과

• UCSD Ped2 데이터셋에서 전체 HF²-VAD 모델은 99.31%의 AUROC를 기록하여 모든 아블레이션 변형과 최신 기술 수준의 베이스라인을 압도했다.
• 아블레이션 연구 결과, ML-MemAE-SC(3개 메모리)와 CVAE를 조합한 모델이 가장 높은 성능을 보였으며, 하이브리드 설계의 효과를 확인했다.
• 재구성 전용 모델은 ML-MemAE-SC(3개 메모리)를 사용해 98.81%의 AUROC를 기록했으며, 이는 흐름 재구성만으로도 뛰어난 이상 감지 민감도를 확보할 수 있음을 시사한다.
• 재구성된 흐름을 사용한 CVAE 기반 예측 전용 모델은 98.28%의 AUROC를 기록했으며, 흐름 조건 없이 VAE 기반 예측을 수행한 경우보다 유의미하게 높은 성능을 보였다.
• 실패 케이스 분석 결과, 절대 흐름 값이 낮은 거리에 있는 물체는 더 탐지하기 어려운 것으로 나타나, 향후 향상의 방향으로 깊이 인식 모델이 필요할 것으로 보인다.
• 모델은 약 10 프레임/초의 속도로 실행되며, 프레임당 추론 시간은 0.015초로 실시간 응용에 적합하다.