[논문 리뷰] Generalized Video Anomaly Event Detection: Systematic Taxonomy and Comparison of Deep Models

Yang Liu, Dingkang Yang외 6명|arXiv (Cornell University)|2023. 02. 10.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 비감독, 약감독, 감독, 완전히 비감독 파라다임을 아우르는 딥러닝 기반 방법들을 체계적으로 분류하는 통합 프레임워크를 제안한다. 일반화된 비디오 이상 이벤트 탐지(GVAED)를 위한 틀을 제공하며, 계층적 분류 체계를 수립하고, 모델 성능을 평가하며, 핵심 자원을 정리하고, 영상 이상 탐지 분야의 향후 연구 방향을 규명한다.

ABSTRACT

Video Anomaly Detection (VAD) serves as a pivotal technology in the intelligent surveillance systems, enabling the temporal or spatial identification of anomalous events within videos. While existing reviews predominantly concentrate on conventional unsupervised methods, they often overlook the emergence of weakly-supervised and fully-unsupervised approaches. To address this gap, this survey extends the conventional scope of VAD beyond unsupervised methods, encompassing a broader spectrum termed Generalized Video Anomaly Event Detection (GVAED). By skillfully incorporating recent advancements rooted in diverse assumptions and learning frameworks, this survey introduces an intuitive taxonomy that seamlessly navigates through unsupervised, weakly-supervised, supervised and fully-unsupervised VAD methodologies, elucidating the distinctions and interconnections within these research trajectories. In addition, this survey facilitates prospective researchers by assembling a compilation of research resources, including public datasets, available codebases, programming tools, and pertinent literature. Furthermore, this survey quantitatively assesses model performance, delves into research challenges and directions, and outlines potential avenues for future exploration.

연구 동기 및 목표

• 기존 종합 검토에서 약감독 및 완전히 비감독 방법을 간과한 점을 보완하기 위해.
• 다양한 학습 파라다임을 통합하는 체계적이고 계층적인 분류 체계를 제안하기 위해.
• 미래 연구자들이 활용할 수 있도록 공개된 데이터셋, 코드베이스, 도구, 문헌을 정리하고 조직하기 위해.
• UVAD, WAED, SVAD, FVAD 파라다임 간의 모델 성능을 정량적으로 비교하기 위해.
• GVAED 분야의 열린 과제를 규명하고, 실세계 구현을 고려한 향후 연구 방향을 제시하기 위해.

제안 방법

• 감독 수준, 입력 데이터 모odal, 네트워크 아키텍처를 기반으로 GVAED 모델의 계층적 분류 체계를 제안한다.
• 기존 딥러닝 기반 방법을 네 가지 주요 파라다임으로 분류한다: 비감독(UVAD), 약감독(WAED), 감독(SVAD), 완전히 비감독(FVAD).
• 최근의 발전 사항인 자기지도 학습 기반 표현 학습(예: 대비 학습, 딥 클러스터링)과 지식 정복을 분류 체계에 통합한다.
• 다양한 데이터셋과 설정에서 모델 성능을 비교하기 위한 정량적 평가 및 분석 실험을 수행한다.
• WAED에서 이상 탐지 점수를 산출하기 위해 정상 및 비정상 이벤트의 시공간 특징을 비교하기 위해 다중 인스턴스 학습(MIL)을 활용한다.
• 경량화되고 구현 가능한 GVAED 시스템을 위해 모델 압축, 온라인 진화 학습, 엣지-클라우드 협업 기법을 탐색한다.

실험 결과

연구 질문

• RQ1 기존의 비감독 파라다임을 넘어서 비디오 이상 탐지 방법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 비감독, 약감독, 감독, 완전히 비감독 VAD 접근 방식 간의 핵심 차이점과 상호 연결성은 무엇인가?
• RQ3 최근의 자기지도 학습 및 다중 모odal 학습 기법은 GVAED에서 표현 학습을 어떻게 향상시키는가?
• RQ4 실세계 구현 조건 하에서 UVAD, WAED, SVAD, FVAD의 성능 상충 요소와 한계는 무엇인가?
• RQ5 지능형 감시 시스템에서 GVAED를 발전시키기 위해 가장 중요한 향후 연구 방향과 기술적 과제는 무엇인가?

주요 결과

• 이 종합 검토는 네 가지 학습 파라다임(UVAD, WAED, SVAD, FVAD)을 통합한 최초의 종합적이고 통합된 GVAED 분류 체계를 수립한다.
• 2018년 이후 WAED는 범죄 탐지 및 교통 모니터링과 같은 실세계 응용에서 뛰어난 성능을 보이며 주요 파라다임으로 부상했다.
• UVAD 모델은 복잡한 데이터셋에서 성능 포화 현상에 시달리며, 새로운 정상 이벤트나 비정상 패턴으로의 일반화 능력에 어려움을 겪는다.
• 대비 학습 및 딥 클러스터링과 같은 자기지도 학습 기반 표현 학습 기법은 UVAD의 강인성을 향상시키는 유망한 신규 방향성을 제공한다.
• 레이블이 없는 원시 영상에서 직접 학습하는 FVAD는 데이터 정제 비용 감소와 확장 가능한 구현 가능성으로 인해 점점 주목받고 있다.
• 모델 압축, 지식 정복, 엣지-클라우드 협업은 자원 제약이 있는 장치에 경량 실시간 GVAED 모델을 구현하는 데 핵심적인 요소이다.