[논문 리뷰] Ano-Graph: Learning Normal Scene Contextual Graphs to Detect Video Anomalies

Masoud Pourreza, Mohammadreza Salehi외 1명|arXiv (Cornell University)|2021. 03. 18.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

Ano-Graph는 사전 구축된 검출기에서 추출한 특징을 사용하여 비디오 내 정상 객체 상호작용을 모델링하는 자기지도 학습 스펙트럼-시간 그래프 학습 프레임워크를 제안한다. 이는 이상 탐지에 대해 뛰어난 내성과 데이터 효율성을 제공하며, ADOC 및 Street Scene에서 최신 기술 수준의 성능을 달성한다. 이는 이상 학습 데이터에 의존하지 않고 의미적 스펙트럼-시간 상호작용을 포착함으로써 달성된다.

ABSTRACT

Video anomaly detection has proved to be a challenging task owing to its unsupervised training procedure and high spatio-temporal complexity existing in real-world scenarios. In the absence of anomalous training samples, state-of-the-art methods try to extract features that fully grasp normal behaviors in both space and time domains using different approaches such as autoencoders, or generative adversarial networks. However, these approaches completely ignore or, by using the ability of deep networks in the hierarchical modeling, poorly model the spatio-temporal interactions that exist between objects. To address this issue, we propose a novel yet efficient method named Ano-Graph for learning and modeling the interaction of normal objects. Towards this end, a Spatio-Temporal Graph (STG) is made by considering each node as an object's feature extracted from a real-time off-the-shelf object detector, and edges are made based on their interactions. After that, a self-supervised learning method is employed on the STG in such a way that encapsulates interactions in a semantic space. Our method is data-efficient, significantly more robust against common real-world variations such as illumination, and passes SOTA by a large margin on the challenging datasets ADOC and Street Scene while stays competitive on Avenue, ShanghaiTech, and UCSD.

연구 동기 및 목표

• 이상 학습 샘플이 제공되지 않는 비지도 설정에서 비디오 이상 탐지의 과제를 해결한다.
• 기존 방법이 정상 장면 내 객체 간 복잡한 스펙트럼-시간 상호작용을 모델링하지 못하는 한계를 극복한다.
• 공간과 시간에 걸쳐 정상 객체 간의 맥락적 관계를 포착하는 데이터 효율적이고 내성적인 방법을 개발한다.
• 일상적인 변화가 뒤섞인 도전적인 벤치마크인 ADOC 및 Street Scene에서의 성능을 향상시킨다.
• 이상 레이블이 필요 없이 정상 행동을 모델링하기 위해 스펙트럼-시간 그래프에서 자기지도 학습을 가능하게 한다.

제안 방법

• 실시간 사전 구축된 객체 검출기에서 추출한 특징을 각 노드로 가지는 스펙트럼-시간 그래프(STG)를 구축한다.
• 공간적 근접성과 시간적 일관성을 기반으로 노드 간 간선을 정의하여 객체 상호작용을 모델링한다.
• 정상 장면 역학을 포착하는 의미론적 공간에 상호작용을 임bedding하기 위해 STG에 자기지도 학습 목표를 적용한다.
• 딥 네트워크의 계층적 표현 능력을 활용하여 다중 수준의 스펙트럼-시간 의존성을 모델링한다.
• STG에서 재구성 또는 대비 목표를 사용하여 비지도 방식으로 모델을 종단 간(end-to-end)으로 훈련시켜 정상 패턴을 학습한다.
• 학습된 그래프 표현을 사용하여 테스트 비디오에서 기대되는 상호작용 패턴에서의 이탈을 측정함으로써 이상을 탐지한다.

실험 결과

연구 질문

• RQ1 이상 레이블이 없이도 스펙트럼-시간 그래프에서 자기지도 학습이 정상 객체 간의 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 기존 방법과 비교해 볼 때 Ano-Graph는 일 illumination 변화 및 객체 운동 변화와 같은 실생활 변화에 얼마나 잘 일반화되는가?
• RQ3 객체 상호작용을 모델링함으로써 ADOC 및 Street Scene와 같은 도전적인 벤치마크에서 이상 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 그래프 기반 접근 방식이 데이터 효율성과 실생활 배포 환경에서의 내성성을 유지하면서 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• Ano-Graph는 ADOC 및 Street Scene 데이터셋에서 최신 기술 수준의 성능를 달성하며, 이전 방법들을 크게 앞서간다.
• 일 illumination 변화 및 객체 크기 변화와 같은 일반적인 실생활 변화에 대해 매우 뛰어난 내성성을 보였다.
• 자기지도 STG를 통해 스펙트럼-시간 상호작용을 모델링함으로써, 오토인코더나 GAN 기반 기준 모델보다 더 풍부한 맥락적 표현을 포착한다.
• Avenue, ShanghaiTech, UCSD와 같은 표준 벤치마크에서도 경쟁적인 성능를 유지한다.
• 사전 구축된 객체 검출기를 사용함으로써 재학습 없이도 효율적이고 확장 가능한 특징 추출이 가능하다.
• STG에서 자기지도 학습 목표가 정상 장면 역학을 효과적으로 학습하여, 학습된 패턴에서의 이탈을 통해 정확한 이상 탐지가 가능하다.