[논문 리뷰] Spatio-temporal Video Parsing for Abnormality Detection

Borislav Antić, Björn Ommer|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|2015. 02. 22.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 10

한 줄 요약

이 논문은 정상 객체 가설을 훈련 데이터로부터 동시에 추론하여 비정상성을 간접적으로 탐지하는 스펙트로-시계적 비디오 파싱 프레임워크를 제안한다. 이는 비정상 훈련 샘플이 필요로 하지 않으며, UCSD ped1 및 ped2와 같은 혼잡한 벤치마크 데이터셋에서 이상 탐지의 분류 및 국소화 성능 모두에서 최신 기술 수준(SOTA)을 달성한다. 문제를 그래픽 모델 내에서 볼록 최적화 과제로 공식화함으로써 달성된다.

ABSTRACT

Abnormality detection in video poses particular challenges due to the infinite size of the class of all irregular objects and behaviors. Thus no (or by far not enough) abnormal training samples are available and we need to find abnormalities in test data without actually knowing what they are. Nevertheless, the prevailing concept of the field is to directly search for individual abnormal local patches or image regions independent of another. To address this problem, we propose a method for joint detection of abnormalities in videos by spatio-temporal video parsing. The goal of video parsing is to find a set of indispensable normal spatio-temporal object hypotheses that jointly explain all the foreground of a video, while, at the same time, being supported by normal training samples. Consequently, we avoid a direct detection of abnormalities and discover them indirectly as those hypotheses which are needed for covering the foreground without finding an explanation for themselves by normal samples. Abnormalities are localized by MAP inference in a graphical model and we solve it efficiently by formulating it as a convex optimization problem. We experimentally evaluate our approach on several challenging benchmark sets, improving over the state-of-the-art on all standard benchmarks both in terms of abnormality classification and localization.

연구 동기 및 목표

• 비정상 훈련 데이터가 제공되지 않는 비디오에서 희귀하고 알려지지 않은 이상 사건을 탐지하는 문제에 대응한다.
• 기존 방법이 이상 탐지를 독립적인 국소 패치 분류 문제로 간주하는 데서 비롯되는 한계를 극복한다.
• 스펙트로-시계적 객체 가설을 동시에 고려하여 전경 픽셀을 설명하는 통합 프레임워크를 개발한다.
• 어떤 정상 훈련 프로토타입으로도 설명할 수 없는 가설을 식별하여 간접적으로 이상을 탐지한다.
• 이상 탐지 레이블이 전혀 없이도 픽셀 단위 이상 확률 추정을 가능하게 한다.

제안 방법

• 구분형 배경 분류기와 운동 기반 시간적 연결을 사용하여 각 프레임에서 전경 객체 후보를 검출하고 그룹화하여 스펙트로-시계적 가설을 형성한다.
• 잠재 변수가 가설 선택 및 정상 프로토타입에 대한 매칭을 나타내는 그래픽 모델을 구성한다.
• 추론 문제를 MAP 추정 과제로 공식화하고, 전역 수렴을 보장하기 위해 볼록 최적화 과제로 변환한다.
• 형태, 위치, 외관, 운동 일관성을 사용하여 가설과 정상 프로토타입 간의 대응 점수를 계산한다.
• 전경 설명을 로그우도 항의 합으로 모델링하고, 로그함수 및 지수 변환을 통해 볼록성을 확보한다.
• 파싱 지표에 대한 가설 설명 항의 선형 근사식을 유도하여 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정상 객체 가설의 공동 스펙트로-시계적 파싱이 비정상 훈련 데이터에 의존하지 않고도 비디오에서 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 어떤 가설이 전경 커버리지에 필수적이지만 정상 프로토타입으로는 설명할 수 없는 경우를 식별함으로써 이상을 간접적으로 국소화할 수 있는가?
• RQ3 추론 문제의 볼록 최적화 공식화가 복잡하고 혼잡한 장면에서 안정성과 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 표준 벤치마크에서 이상 분류 및 국소화 모두에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ5 이상 탐지 레이블이 전혀 없는 상황에서 픽셀 단위 이상 확률 맵이 이상을 효과적으로 분할하는 데 얼마나 유용한가?

주요 결과

• 제안된 방법은 UCSD ped1 및 ped2를 포함한 모든 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이전 방법들보다 이상 분류 및 국소화 모두에서 뛰어난 성능을 보였다.
• 프리셋되지 않은 사건이라도 자동차가 보행자 구역에 진입하거나 사람들이 보도에서 자전거를 타는 등 자연스러운 이상 사건을 성공적으로 탐지하였다.
• 볼록 최적화의 사용으로 전역 수렴과 안정적인 추론이 보장되어 복잡하고 겹치는 장면에서도 신뢰할 수 있는 탐지가 가능해졌다.
• 이상 훈련 샘플이 전혀 없이도 픽셀 단위 이상 확률 맵이 간접적 추론을 통해 효과적으로 이상 영역을 분할하였다.
• 서로 겹치는 요소들과 스펙트로-시계적 일관성을 고려하는 공동 추론 메커니즘 덕분에 고도로 혼잡한 장면에서도 뛰어난 강인성을 보였다.
• 이론적 분석을 통해 목적 함수의 볼록성이 확인되었으며, 이는 최적화 과정이 전역 최적해로 수렴함을 보장한다.