[논문 리뷰] An Attribute-based Method for Video Anomaly Detection

Tal Reiss, Yedid Hoshen|arXiv (Cornell University)|2022. 12. 01.

Anomaly Detection Techniques and Applications인용 수 21

한 줄 요약

본 논문은 해석 가능한 속성 기반의 비디오 이상행동 탐지(VAD) 방법을 제시하며, 객체 중심 속도 및 포즈 특징을 심층 표현으로 보강하여 Ped2, Avenue, ShanghaiTech에서 학습 없이 최첨단 AUROC를 달성한다.

ABSTRACT

Video anomaly detection (VAD) identifies suspicious events in videos, which is critical for crime prevention and homeland security. In this paper, we propose a simple but highly effective VAD method that relies on attribute-based representations. The base version of our method represents every object by its velocity and pose, and computes anomaly scores by density estimation. Surprisingly, this simple representation is sufficient to achieve state-of-the-art performance in ShanghaiTech, the most commonly used VAD dataset. Combining our attribute-based representations with an off-the-shelf, pretrained deep representation yields state-of-the-art performance with a $99.1\%, 93.7\%$, and $85.9\%$ AUROC on Ped2, Avenue, and ShanghaiTech, respectively.

연구 동기 및 목표

• 이상 행위의 불확실성과 인간이 이해할 수 있는 근거의 필요성으로 해석 가능한 VAD를 제시한다.
• 비디오 프레임의 객체에 대한 간단한 속성 기반 표현(속도와 포즈)을 제안한다.
• 성능을 극대화하기 위해 명시적 속성 표현과 암묵적 심층 특징을 결합한다.
• 세 개의 공용 VAD 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 속도, 포즈 및 심층 특징(CLIP)을 사용한 객체 중심 비디오 표현.
• 속도: 물체별 방향 빈으로 평균된 옵티컬 플로우 크기의 히스토그램 유사 집계.
• 포즈: 객체별로 정규화된 단일 프레임 휴먼 포즈 랜드마크(AlphaPose)를 사이즈 불변 기술자로 변환.
• 심층 특징: 명시적 속성을 넘어서는 잔여 속성을 포착하기 위해 CLIP 기반 객체 수준 임베딩.
• 밀도 기반 이상 탐지 점수화: 특징별 분리 추정기(GMM for velocity; kNN for pose and deep features)로 프레임 단위 최대 점수를 객체 전역으로 산출한 뒤 보정 및 시계열 스무딩.

실험 결과

연구 질문

• RQ1 단순하고 해석 가능한 객체 중심 속성(속도와 포즈)이 VAD에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 명시적 속성 표현과 암묵적 심층 표현의 결합이 VAD 성능을 향상시키는가?
• RQ3 밀도 추정 기반 이상 점수가 표준 VAD 데이터셋에서 최첨단 방법과 경쟁력이 있는가?
• RQ4 모델 결정은 얼마나 해석 가능한가 그리고 속성들이 이상에 대해 어떤 근거를 제공하는가?

주요 결과

데이터셋	Ped2 Micro AUROC	Ped2 Macro AUROC	Avenue Micro AUROC	Avenue Macro AUROC	ShanghaiTech Micro AUROC	ShanghaiTech Macro AUROC
Ours	99.1	99.9	93.3	96.2	85.9	89.6

• 속성 기반 표현만 또는 심층 특징과 함께 사용할 때 Ped2(99.1 micro), Avenue(93.3 micro), ShanghaiTech(85.9 micro)에서 프레임 수준 AUROC 최첨단 달성.
• 속도 특징이 Avenue와 ShanghaiTech에서 가장 강한 신호를 제공; 속도와 포즈를 결합하면 높은 성능을 보이며; 심층 특징을 더하면 일부 데이터에서 이득이 있지만 잡음 속성으로 인해 성능이 저하될 수 있다.
• 전반적으로 본 방법은 Ped2에서 99.1% micro 및 99.9% macro AUROC, Avenue에서 93.3% micro 및 96.2% macro AUROC, ShanghaiTech에서 85.9% micro 및 89.6% macro AUROC를 달성한다 (표 2).
• 이 접근법은 해석 가능한 결정을 제공한다: 이상은 비정상 속도, 포즈 또는 심층 특징 구분과 연결되며 인간이 이해할 수 있는 근거를 제공한다.