[논문 리뷰] Video Anomaly Detection by Solving Decoupled Spatio-Temporal Jigsaw Puzzles

Guodong Wang, Yunhong Wang외 4명|arXiv (Cornell University)|2022. 07. 20.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 전체 순열을 사용하여 다양한 도전적인 훈련 신호를 생성함으로써 외관을 위한 공간 퍼즐과 운동을 위한 시간적 퍼즐로 분리된 스펙트로-시계열 퍼즐을 해결하는 자기지도 학습 기반 비디오 이상 탐지 방법을 제안한다. 이 방법은 세 가지 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, 특히 상하이 과학기술 대학 캠퍼스에서 84.3% AUROC를 기록하여 복원 및 예측 기반 방법에 비해 크게 뛰어나다.

ABSTRACT

Video Anomaly Detection (VAD) is an important topic in computer vision. Motivated by the recent advances in self-supervised learning, this paper addresses VAD by solving an intuitive yet challenging pretext task, i.e., spatio-temporal jigsaw puzzles, which is cast as a multi-label fine-grained classification problem. Our method exhibits several advantages over existing works: 1) the spatio-temporal jigsaw puzzles are decoupled in terms of spatial and temporal dimensions, responsible for capturing highly discriminative appearance and motion features, respectively; 2) full permutations are used to provide abundant jigsaw puzzles covering various difficulty levels, allowing the network to distinguish subtle spatio-temporal differences between normal and abnormal events; and 3) the pretext task is tackled in an end-to-end manner without relying on any pre-trained models. Our method outperforms state-of-the-art counterparts on three public benchmarks. Especially on ShanghaiTech Campus, the result is superior to reconstruction and prediction-based methods by a large margin.

연구 동기 및 목표

• 레이블이 부여된 이상 데이터가 없는 환경에서 자기지도 학습을 활용하여 비디오 이상 탐지(VAD) 문제를 해결한다.
• 기존의 복원 및 예측 기반 방법의 한계를 극복한다. 이러한 방법들은 정상 패턴에 대해 강한 일반화 성능를 가지므로 미세한 이상을 탐지하지 못하는 경우가 많다.
• 이진 분류나 단순 대비 학습보다 더 구분력 있는 사전 과제를 설계하여 정상 및 이상 이벤트 간의 세분화된 스펙트로-시계열 차이를 포착한다.
• ImageNet 또는 Kinetics 전이 학습에 의존하지 않고, 정상 비디오 데이터만을 사용하여 모델을 끝에서 끝까지 끝내기 위해 훈련한다.
• 스페이셜 및 타임리얼 퍼즐을 분리하고 전체 순열을 사용하여 과제의 다양성과 난이도를 높임으로써 모델 최적화 및 특징 학습을 향상시킨다.

제안 방법

• 스펙트로-시계열 퍼즐을 두 개의 별도 과제로 분리한다: 공간 퍼즐(프레임 내 파츠 재정렬)과 시간 퍼즐(클립 내 연속 프레임 재정렬)으로, 외관과 운동 패턴에 집중적인 학습을 가능하게 한다.
• 하나의 부분 집합이 아닌 전체 $n!$가지 가능한 순열을 사용하여 다양한 퍼즐을 생성함으로써 난이도를 높이고, 미세한 이상을 구분하는 데 세분화된 감독 신호를 제공한다.
• 퍼즐 해결 과제를 다중 레이블 분류 문제로 재구성한다: 각 파츠(공간) 또는 프레임(시간)의 원래 위치를 예측하는 것—단일 순열 클래스 예측이 아니라서—보다 더 정교한 정보를 제공한다.
• 사전 학습된 백본 없이 끝에서 끝까지 훈련하여, 섞인 입력에서 스펙트로-시계열 복원을 직접 최적화한다.
• 훈련 및 추론 시 공간 및 시간 퍼즐 솔버를 모두 적용하며, 제거 실험을 통해 다중 과제 학습이 성능 향상에 기여함을 확인했다.
• 표준 I3D 또는 유사한 백본 네트워크를 사용해 특징을 추출하고, 공간 및 시간 퍼즐 예측을 위한 별도의 헤드를 사용하며, 다중 레이블 위치 예측 과제에서 교차 엔트로피 손실을 통해 훈련한다.

실험 결과

연구 질문

• RQ1 분리된 스펙트로-시계열 퍼즐을 해결하는 것이 비디오 이상 탐지에 강력한 자기지도 사전 과제로 기능할 수 있는가?
• RQ2 편의적 부분 집합 대신 전체 순열을 사용하면, 미세한 스펙트로-시계열 이상을 탐지하는 데 모델의 능력이 향상되는가?
• RQ3 동시에 공간 및 시간 퍼즐을 해결하는 다중 과제 학습이 단일 과제 학습보다 이상 탐지에 더 효과적인가?
• RQ4 기존의 자기지도 사전 과제(예: 회전 예측, 시간의 방향)와 비교했을 때 이 방법의 VAD 성능은 어떠한가?
• RQ5 이 방법은 사전 학습된 모델에 의존하지 않고도 개체 수준 및 프레임 수준의 이상 탐지에 일반화 가능한가?

주요 결과

• 제안된 방법은 Avenue에서 92.2% AUROC, 상하이 과학기술 대학 캠퍼스(STC)에서 84.3% AUROC를 기록하여 이전 최신 기술 방법보다 뚜렷이 뛰어나며, 특히 복원 및 예측 기반 모델에 비해 뛰어나다.
• STC에서 공간 및 시간 퍼즐을 훈련 및 추론 시 모두 해결할 경우(C5), 단일 과제 버전(C1)보다 6.1%p 높은 성능을 기록하여 78.6% AUROC를 달성한다.
• 제거 실험을 통해 훈련 시 공간 및 시간 퍼즐을 모두 해결하는 것이 핵심임을 확인했다: 한 종류의 퍼즐만 사용할 경우 성능가 급격히 떨어지며, 이상은 종종 외관과 운동 모두에 이상이 동반되기 때문임을 시사한다.
• 회전 예측, 시간의 방향, 시간 순서 검증과 같은 대체 사전 과제보다도 성능이 뛰어나며, 공간 및 시간 퍼즐을 조합했을 때 최고 성능(84.3% AUROC)을 기록했다.
• RetroTrucks 데이터셋에서는 72.8% AUROC를 기록하여, 개체 상호작용 추론을 사용한 이전 최신 기술 방법(71.5% AUROC)을 초월했다.
• 사전 학습된 가중치 없이도 뛰어난 성능를 기록하여, 제안된 사전 과제가 출발 단계에서부터도 구분 가능한 표현을 효과적으로 학습할 수 있음을 입증했다.