[논문 리뷰] Generative Cooperative Learning for Unsupervised Video Anomaly Detection

Muhammad Zaigham Zaheer, Arif Mahmood외 4명|arXiv (Cornell University)|2022. 01. 01.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 가짜 레이블을 상호로 유도하여 생성자와 판별기를 협동적으로 반복적으로 훈련하는 새로운 비지도 비디오 이상 탐지 프레임워크인 생성적 협동 학습(GCL)을 제안한다. 이상의 낮은 빈도를 활용하고 이상 콘텐츠의 재구성 방지를 위한 음성 학습 전략을 도입함으로써, 인간의 레이블이 전혀 필요 없이 UCF-Crime 및 상하이테크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video anomaly detection is well investigated in weakly-supervised and one-class classification (OCC) settings. However, unsupervised video anomaly detection methods are quite sparse, likely because anomalies are less frequent in occurrence and usually not well-defined, which when coupled with the absence of ground truth supervision, could adversely affect the performance of the learning algorithms. This problem is challenging yet rewarding as it can completely eradicate the costs of obtaining laborious annotations and enable such systems to be deployed without human intervention. To this end, we propose a novel unsupervised Generative Cooperative Learning (GCL) approach for video anomaly detection that exploits the low frequency of anomalies towards building a cross-supervision between a generator and a discriminator. In essence, both networks get trained in a cooperative fashion, thereby allowing unsupervised learning. We conduct extensive experiments on two large-scale video anomaly detection datasets, UCF crime, and ShanghaiTech. Consistent improvement over the existing state-of-the-art unsupervised and OCC methods corroborate the effectiveness of our approach.

연구 동기 및 목표

• 레이블이 없는 환경에서 이상이 드물고 명확하지 않게 정의된 문제를 해결하기 위해.
• 일반 클래스나 약한 지도 학습 가정에 의존하지 않고 강건한 정상 표현을 학습하는 방법을 개발하기 위해.
• 생성자와 판별기 간의 상호 지도를 통해 가짜 레이블을 활용하여 완전히 비지도 훈련을 가능하게 하기 위해.
• 새로운 음성 학습 접근법을 통해 생성자가 고신뢰도 이상 영역을 재구성하지 못하도록 하여 이상 탐지의 정밀도를 향상시키기 위해.

제안 방법

• 프레임워크는 지도 레이블이 전혀 없는 생성자와 판별기를 번갈아가며 협동적으로 훈련한다.
• 생성자는 입력 프레임을 재구성하고, 이상 표현의 재구성을 방지하기 위해 음성 학습(NL)을 적용한다. 이때 이상 영역의 재구성을 방지하기 위해 '일의' 가짜 타겟을 사용하여 페널티를 가한다.
• 판별기는 입력이 이상일 확률을 추정하며, 생성자의 재구성 오차에서 유도된 가짜 레이블을 사용한다.
• 가짜 레이블은 생성자의 재구성 오차를 임계값 처리하여 생성되며, 음성 학습의 최적 가짜 타겟으로 '일의' 가 사용된다.
• 생성자는 재구성 손실과 음성 학습 손실을 모두 사용하여 훈련되며, 판별기는 가짜 레이블에 대한 교차 엔트로피를 사용하여 훈련된다.
• 시스템은 생성자와 판별기의 업데이트를 번갈아가며 수행함으로써 상호 지도를 통해 상호 개선을 이룬다.

실험 결과

연구 질문

• RQ1 생성자와 판별기 간의 협동 학습 프레임워크가 비지도 비디오 이상 탐지에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 이상 레이블이 전혀 없이도 음성 학습이 생성자가 이상 콘텐츠를 재구성하는 것을 방지하는 데 얼마나 효과적인가?
• RQ3 생성자와 판별기 간의 상호 가짜 레이블링이 자율 지도나 일반 클래스 기반 베이스라인에 비해 탐지 성능을 향상시키는가?
• RQ4 가령 '일의', 무작위, 가우시안 등 다양한 가짜 타겟의 선택이 GCL 프레임워크 성능에 얼마나 영향을 미치는가?

주요 결과

• GCL은 레이블이 없는 훈련 데이터만을 사용하여 UCF-Crime 데이터셋에서 AUC 70.13 ± 0.52를 달성하며, 기존의 비지도 및 일반 클래스 분류 방법들을 능가한다.
• '일의'를 음성 학습의 가짜 타겟으로 사용할 경우 가장 우수한 성능을 보이며, 무작위 및 가우시안 변형보다 유의미하게 뛰어나다.
• GCLP T 변종은 GCLB에 비해 더 양호한 수렴성과 더 낮은 랜덤 시드에 따른 변동성을 보이며, 평균 AUC 70.13 ± 0.52를 기록한다.
• 단지 33%의 약한 지도 정보(비디오 수준 레이블)만 추가되어도 AUC가 유의미하게 향상되며, 이는 최소한의 지도 정보가 학습을 향상시킬 수 있음을 시사한다.
• 생성자가 자신의 가짜 레이블을 사용하여 훈련할 경우 AUC는 62.28%에 그치지만, GCLP T는 71.04%를 달성하여, 판별기가 노이즈가 많은 레이블에 대해 강건한 것이 핵심임을 입증한다.
• 임계값 처리 대신 소프트 레이블을 사용할 경우 성능이 기준선과 거의 동일하게 유지되며, 이는 판별기가 생성자의 출력을 그대로 복제할 뿐 향상되지 않는다는 것을 의미한다.