[논문 리뷰] Discriminative-Generative Dual Memory Video Anomaly Detection

Xin Guo, Zhongming Jin외 6명|arXiv (Cornell University)|2021. 04. 29.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 데이터 불균형 문제를 해결하기 위해 두 개의 디스크리미네이터를 사용하여 정상 특징 경계를 강화하고, 다음 프레임 예측을 위한 생성자도 갖춘 비디오 이상 탐지용 분류-생성 이중 메모리 모델인 DREAM을 제안한다. 새로운 이중 메모리 모듈은 정상성과 비정상성 원형을 별도로 저장하여 소수의 이상 샘플로부터 효과적으로 학습하고, 추가 파rameter 없이 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, people tried to use a few anomalies for video anomaly detection (VAD) instead of only normal data during the training process. A side effect of data imbalance occurs when a few abnormal data face a vast number of normal data. The latest VAD works use triplet loss or data re-sampling strategy to lessen this problem. However, there is still no elaborately designed structure for discriminative VAD with a few anomalies. In this paper, we propose a DiscRiminative-gEnerative duAl Memory (DREAM) anomaly detection model to take advantage of a few anomalies and solve data imbalance. We use two shallow discriminators to tighten the normal feature distribution boundary along with a generator for the next frame prediction. Further, we propose a dual memory module to obtain a sparse feature representation in both normality and abnormality space. As a result, DREAM not only solves the data imbalance problem but also learn a reasonable feature space. Further theoretical analysis shows that our DREAM also works for the unknown anomalies. Comparing with the previous methods on UCSD Ped1, UCSD Ped2, CUHK Avenue, and ShanghaiTech, our model outperforms all the baselines with no extra parameters. The ablation study demonstrates the effectiveness of our dual memory module and discriminative-generative network.

연구 동기 및 목표

• 정상 데이터의 양이 많고 이상 데이터가 소수에 불과한 비디오 이상 탐지에서의 데이터 불균형 문제를 해결하기 위해.
• 소수의 이상 샘플의 고유성을 명시적으로 활용하여 더 나은 특징 분류 성능을 얻기 위한 전용 아키텍처를 설계하기 위해.
• 이중 메모리 메커니즘을 통해 정상 및 비정상 패턴에 대해 더 강력하고 분리된 특징 공간을 학습하기 위해.
• 특징 분류 성능을 향상시켜 알려지지 않은 이상 유형으로의 일반화 성능을 향상시키기 위해.

제안 방법

• 모델은 정상 특징 분포의 경계를 강화하기 위해 두 개의 얕은 디스크리미네이터를 사용하여 분류 성능을 향상시킨다.
• 시간적 동역학을 학습하기 위해 프레임 예측 생성자를 사용하며, 재구성 오차를 이상 탐지 지표로 사용한다.
• 이중 메모리 모듈은 정상성과 비정상성에 대해 별도의 메모리 백업을 유지하며, 정상 데이터에 의해 지배당하지 않도록 독립적으로 업데이트한다.
• 입력 클립의 쿼리 벡터는 L2 거리 측정을 통해 두 메모리 백업과 비교되어 이상도 점수를 산출한다.
• 비율 기반 점수 기법을 사용한다: r_normal = sum(d(U^N, M^N)) / sum(d(U^N, M^A)) 및 r_abnormal = sum(d(U^A, M^A)) / sum(d(U^A, M^N))를 통해 정상 및 비정상 클립을 구분한다.
• 메모리 업데이트 규칙은 이상 샘플이 드물더라도 정상 및 비정상 패턴이 효과적으로 기억되도록 보장한다.

실험 결과

연구 질문

• RQ1 소수의 이상 샘플만 존재하는 비디오 이상 탐지에서 이중 메모리 구조가 데이터 불균형 문제를 효과적으로 완화할 수 있는가?
• RQ2 정상성과 비정상성 메모리 백업을 분리하면 특징 분류 성능과 모델 일반화 성능가 어떻게 향상되는가?
• RQ3 제안된 모델은 알려진 이상 유형뿐 아니라 알려지지 않은 이상 유형도 효과적으로 탐지할 수 있는가?
• RQ4 분류 성능과 생성 성능을 결합한 구성이 기존 방법에 비해 이상 탐지 성능 향상에 기여하는가?

주요 결과

• DREAM은 추가 파rameter 없이 UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech 데이터셋에서 모든 베이스라인 방법보다 뛰어난 성능을 보였다.
• Ped1에서 r_normal = 15.48 및 r_abnormal = 12.72를 기록하여 정상 및 비정상 특징 간 강력한 분리가 이루어졌음을 확인했다.
• 제거 실험을 통해 이중 메모리 모듈과 분류-생성 네트워크 아키텍처 설계가 성능 향상에 기여한다는 것이 입증되었다.
• Avenue 데이터셋에서의 t-SNE 시각화 결과는 이중 메모리 공간에서 정상(파랑) 및 비정상(빨강) 특징가 명확하게 군집되어 있음을 보여주었다.
• 사례 연구 결과, DREAM은 이상 영역에서 더 높은 재구성 오차를 기록하여 동적 및 정적 이상에 민감하게 반응함을 확인했다.
• 이론적 및 실증적 분석을 통해 DREAM은 훈련 중에 볼 수 없었던 이상 유형으로도 잘 일반화됨을 입증했다.