[논문 리뷰] Learning Normal Dynamics in Videos with Meta Prototype Network

Hui Lv, Chen Chen외 4명|arXiv (Cornell University)|2021. 04. 14.

Anomaly Detection Techniques and Applications참고 문헌 49인용 수 14

한 줄 요약

이 논문은 메모리 효율적인 엔드 투 엔드 정상성 모델링을 가능하게 하기 위해 주어진 정상 영상 동작을 다이나믹 프로토타입 유닛(DPU)을 사용한 어텐션 기반 프로토타입 마이닝을 통해 학습하는 메타-프로토타입 네트워크(MPN)를 제안한다. 이는 추가 저장소가 필요로 하지 않으며, 새로운 환경에 대해 빠른 소수의 프레임으로 적응할 수 있도록 메타러닝을 통합하여, 다양한 벤치마크에서 최신 기술(SOTA)을 초월한다. Ped2에서 96.9% AUC와 166.8 FPS의 추론 속도를 기록한다.

ABSTRACT

Frame reconstruction (current or future frame) based on Auto-Encoder (AE) is a popular method for video anomaly detection. With models trained on the normal data, the reconstruction errors of anomalous scenes are usually much larger than those of normal ones. Previous methods introduced the memory bank into AE, for encoding diverse normal patterns across the training videos. However, they are memory-consuming and cannot cope with unseen new scenarios in the testing data. In this work, we propose a dynamic prototype unit (DPU) to encode the normal dynamics as prototypes in real time, free from extra memory cost. In addition, we introduce meta-learning to our DPU to form a novel few-shot normalcy learner, namely Meta-Prototype Unit (MPU). It enables the fast adaption capability on new scenes by only consuming a few iterations of update. Extensive experiments are conducted on various benchmarks. The superior performance over the state-of-the-art demonstrates the effectiveness of our method.

연구 동기 및 목표

• 메모리 집약적인 방법의 한계를 해결하기 위해, 대규모 메모리 백업을 소형이고 미분 가능한 프로토타입 학습 메커니즘으로 대체함으로써 비디오 이상 탐지에서 메모리 효율성을 향상시키는 것.
• 다양한 실제 환경 간의 일반화 능력을 향상시키기 위해, 소수의 지원 프레임만으로도 새로운 환경에 신속히 적응할 수 있도록 하는 것.
• 특정 패턴에 과적합되지 않고 영상 내 다양한 정상적 행동을 모델링할 수 있는 메모리 없는 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것.
• 정상 행동을 명시적으로 프로토타입으로 인코딩하여 복원 기반 이상 탐지 성능을 향상시키고, 예측되지 않은 이상 현상에 대한 탐지 정확도를 높이는 것.

제안 방법

• 다중 헤드 어텐션을 사용하여 정상성 가중치를 할당함으로써, 연속된 정상 프레임의 인코딩된 특징에서 압축되고 다양한 프로토타입을 학습하는 다이나믹 프로토타입 유닛(DPU)을 도입한다.
• DPU는 어텐션 가중치에 따라 특징 벡터를 집계하여 프로토타입 풀을 생성하며, 대표성 있고 중복되지 않는 프로토타입을 확보하기 위해 압축성과 다양성 손실을 적용한다.
• DPU에 메타러닝 전략을 적용하여, 추론 중에 소수의 지원 프레임만으로도 프로토타입 파라미터를 신속히 업데이트함으로써 새로운 환경에 대한 신속한 적응을 가능하게 한다.
• DPU는 오토인코더 백본에 통합되며, 재구성된 특징 맵과 프로토타입 기반 인코딩이 융합되어 더 나은 프레임 예측 또는 재구성 성능을 달성한다.
• 재구성 손실과 새로운 프로토타입 기반 손실을 조합하여 엔드 투 엔드로 학습하며, 이는 소형이고 다양한 프로토타입 학습을 장려한다.
• 추론 시 메타 최적화된 초기화를 통해 소수의 프레임 적응을 활용하여, 재학습 없이도 새로운 환경에서 빠른 파라미터 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 메모리 없는, 미분 가능한 프로토타입 학습 메커니즘은 영상 시퀀스 내 다양한 정상 행동을 효과적으로 모델링할 수 있는가?
• RQ2 소수의 지원 프레임만으로도 새로운, 예측 불가능한 환경에 대해 빠른 적응을 이룰 수 있는 비디오 이상 탐지 모델은 어떻게 설계할 수 있는가?
• RQ3 정상 행동을 기반으로 프로토타입를 마이닝하는 어텐션 기반 접근 방식이 기존의 메모리 백업 방식보다 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ4 메타러닝을 효과적으로 활용하여 비지도 비디오 이상 탐지에서 소수의 프레임으로 적응 가능한 프로토타입 네트워크를 초기화할 수 있는가?

주요 결과

• 제안된 메타-프로토타입 네트워크(MPN)는 Ped2 벤치마크에서 최신 기술(SOTA)을 초월하는 96.9% AUC 성능을 기록한다. MemAE 및 LMN을 포함한 기존 최신 기술 대비 뛰어난 성능을 보였다.
• 10개의 프로토타입을 사용할 경우 DPU는 최적의 성능을 달성하며, 10개를 초과하여 증가시킬 경우 노이즈 증가와 다양성 감소로 인해 성능 저하가 발생한다.
• 단일 RTX-2080Ti GPU에서 166.8 FPS의 추론 속도를 기록하여, 이전의 방법들인 rGAN(2.1 FPS)과 MemAE(86.7 FPS)에 비해 상당히 빠른 속도를 확보하였다.
• 오토인코더의 고해상도 레이어에 DPU를 배치할 경우 성능 향상이 뚜렷했으며, Ped2에서 1/8 해상도일 경우 AUC 81.18에서 1/1 해상도일 경우 AUC 89.19로 상승하였다.
• DPU가 생성한 정상성 맵은 도로, 잔디, 건물 등 환경에 특화된 정상적 특징을 효과적으로 강조하며, 이상 영역에서는 낮은 가중치를 가지는 것으로 확인되었다.
• 절단 분석 결과, 특징 재구성과 프레임 예측 점수를 결합한 조합이 가장 뛰어난 성능(96.9% AUC)을 기록하였으며, 이는 두 손실 구성 요소가 상호 보완적임을 입증한다.