[논문 리뷰] Video Anomaly Detection and Localization via Gaussian Mixture Fully Convolutional Variational Autoencoder

Yaxiang Fan, Gongjian Wen외 3명|arXiv (Cornell University)|2018. 05. 29.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 39

한 줄 요약

이 논문은 정상 훈련 샘플만을 사용하여 영상 이상 탐지 및 국소화를 위한 새로운 엔드 투 엔드, 부분적으로 감독된 딥 러닝 프레임워크를 제안한다. 이는 정상 영상 패턴을 가우시안 혼합 모델로 모델링하기 위해 공간을 유지하는 인코더-디코더 구조를 가진 가우시안 혼합 전치합성 변동 자동차오디오 (GM-FCVAE)를 사용하며, 구성 요소 확률 기반의 샘플 에너지 점수를 이용해 이상을 탐지한다. 이 방법은 UCSD 및 Avenue 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel end-to-end partially supervised deep learning approach for video anomaly detection and localization using only normal samples. The insight that motivates this study is that the normal samples can be associated with at least one Gaussian component of a Gaussian Mixture Model (GMM), while anomalies either do not belong to any Gaussian component. The method is based on Gaussian Mixture Variational Autoencoder, which can learn feature representations of the normal samples as a Gaussian Mixture Model trained using deep learning. A Fully Convolutional Network (FCN) that does not contain a fully-connected layer is employed for the encoder-decoder structure to preserve relative spatial coordinates between the input image and the output feature map. Based on the joint probabilities of each of the Gaussian mixture components, we introduce a sample energy based method to score the anomaly of image test patches. A two-stream network framework is employed to combine the appearance and motion anomalies, using RGB frames for the former and dynamic flow images, for the latter. We test our approach on two popular benchmarks (UCSD Dataset and Avenue Dataset). The experimental results verify the superiority of our method compared to the state of the arts.

연구 동기 및 목표

• 정상 훈련 샘플만을 요구하는 엔드 투 엔드 딥 러닝 방법을 개발하여 영상 이상 탐지 및 국소화를 수행하는 것.
• 변동 자동차오디오를 활용한 전치합성 아키텍처를 사용하여 정상 영상 패턴을 가우시안 구성 요소의 혼합으로 모델링하는 것.
• 전치합성 인코더-디코더를 통해 특징 맵 간의 공간 좌표를 유지하여 정확한 이상 국소화를 가능하게 하는 것.
• RGB 및 옵티컬 플로우 입력을 사용하여 외관 및 운동 이상을 두 개의 스트림으로 융합하는 네트워크 아키텍처를 도입하는 것.
• 최소한의 감독으로 표준 벤치마크에서 뛰어난 성능을 달성하는 것.

제안 방법

• 정상 샘플의 특징 표현을 가우시안 혼합 모델로 학습하기 위해 가우시안 혼합 변동 자동차오디오 (GM-VAE)를 사용한다.
• 완전히 합성된 네트워크 (FCN)로, 완전 연결 계층 없이 입력과 출력 특징 맵 간의 공간 정보를 유지한다.
• 각 특징 맵 패치에 대해 가우시안 혼합 구성 요소 간의 공동 확률을 추정하여 이상 점수를 계산한다.
• 에너지 기반 점수 계산 방법을 도입하며, 낮은 공동 확률일수록 이상 가능성은 높아진다.
• 외관 특징은 RGB 프레임에서, 운동 특징은 옵티컬 플로우 이미지에서 추출하여 두 개의 스트림 네트워크 아키텍처를 융합한다.
• 프레임워크는 정상 영상 클립만을 사용하여 엔드 투 엔드로 훈련되며, 비감독적 이상 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 딥 제너레이티브 모델은 정상 샘플만을 사용하여 정상 영상 패턴의 분포를 효과적으로 학습할 수 있는가?
• RQ2 완전히 합성 아키텍처는 공간 정밀도를 유지하여 정확한 이상 국소화를 가능하게 하는가?
• RQ3 두 개의 스트림 네트워크를 통해 외관 및 운동 특징을 융합하면 탐지 성능이 향상되는가?
• RQ4 가우시안 혼합 구성 요소 확률 기반의 에너지 점수로 이상을 효과적으로 식별할 수 있는가?
• RQ5 제안된 GM-FCVAE는 표준 영상 이상 탐지 벤치마크에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 GM-FCVAE는 UCSD 보행자 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 이상 탐지 및 국소화 모두에서 뛰어난 성능을 보였다.
• Avenue 데이터셋에서는 기존 접근 방식보다 높은 F1 점수를 기록하여 복잡한 환경에서도 뛰어난 일반화 능력을 입증했다.
• 제거 실험을 통해 완전히 합성 설계가 공간 좌표를 유지함으로써 국소화 정확도를 크게 향상시킨다는 것이 확인되었다.
• 외관 및 운동 특징의 두 스트림 융합은 단일 스트림 기반 모델 대비 뚜렷한 성능 향상을 이끌었다.
• 에너지 기반 점수 계산 메커니즘이 높은 정밀도로 이상을 효과적으로 식별했으며, 특히 혼잡하거나 동적인 환경에서 유의미한 성능을 보였다.
• 모델는 다양한 영상 시나리오, 예를 들어 붐비는 장면이나 다양한 조명 조건에서도 잘 일반화됨을 확인했다.