[논문 리뷰] A Discriminative Framework for Anomaly Detection in Large Videos

A. Giorno, J. Andrew Bagnell외 1명|arXiv (Cornell University)|2016. 09. 28.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 22

한 줄 요약

이 논문은 훈련 시퀀스나 시간적 순서 가정 없이도 작동하는 대규모 영상에 대한 새로운 비지도 이상 탐지 프레임워크를 제안한다. 이상 현상은 동일한 영상 내 다른 프레임과 쉽게 구분되는 프레임으로 간주되며, 이 방법은 프레임 임베딩에 대한 순열 검정을 사용하여 이방성 프레임을 식별한다. 이로 인해 훈련 데이터 없이도 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address an anomaly detection setting in which training sequences are unavailable and anomalies are scored independently of temporal ordering. Current algorithms in anomaly detection are based on the classical density estimation approach of learning high-dimensional models and finding low-probability events. These algorithms are sensitive to the order in which anomalies appear and require either training data or early context assumptions that do not hold for longer, more complex videos. By defining anomalies as examples that can be distinguished from other examples in the same video, our definition inspires a shift in approaches from classical density estimation to simple discriminative learning. Our contributions include a novel framework for anomaly detection that is (1) independent of temporal ordering of anomalies, and (2) unsupervised, requiring no separate training sequences. We show that our algorithm can achieve state-of-the-art results even when we adjust the setting by removing training sequences from standard datasets.

연구 동기 및 목표

• 훈련 시퀀스가 별도로 제공되지 않으며, 이상 현상이 시간적 순서에 영향을 받지 않고 독립적으로 평가되어야 하는 영상에서 이상 탐지를 해결하기 위해.
• 기존의 정상 행동 모델에 의존하지 않고, 테스트 영상 자체에서만 맥락을 도출하는 방법을 개발하기 위해.
• 라벨이 없는 환경에서 로봇 공학, 감시, 개인 영상 분석과 같은 실세계 시나리오에서 이상 현상을 탐지할 수 있도록 하기 위해.
• 하이퍼파라미터 변화에 강건하며, 사전 가정 없이 복잡하고 장시간 지속되는 영상 콘텐츠를 처리할 수 있는 프레임워크를 만들기 위해.

제안 방법

• 이 방법은 이상 현상을 동일한 영상 내 다른 프레임과 쉽게 구분할 수 있는 프레임으로 정의함으로써, 밀도 추정에서 분류 기반 학습으로의 전환을 시도한다.
• 순열 기반 검정 절차를 사용한다: 영상의 프레임을 무작위로 재배열하고, 실제 프레임과 재배열된 프레임을 구분하는 이진 분류기를 학습시킨다.
• 프레임 임베딩은 사전 학습된 CNN(예: Inflated 3D ConvNet)을 사용해 추출되며, 이 특징을 기반으로 분류기가 일반 프레임과 이상 프레임 간의 결정 경계를 학습한다.
• 각 프레임의 이상도 점수는 분류기가 해당 프레임을 무작위로 재배열된 프레임들과 구분하는 데에 대한 신뢰도에서 유도된다.
• 이 방법은 이상 현상의 순서에 대해 불변성을 가지며, 무작위로 재배열하더라도 프레임 특징의 분포가 유지되기 때문이다.
• 정규화 강도(λ) 및 윈도우 크기(tw)와 같은 하이퍼파라미터를 조정하고, 여러 번의 무작위 재배열을 통해 최적화되지 않은 설정에서도 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 훈련 시퀀스나 정상 행동에 대한 사전 지식이 전혀 없는 영상에서 이상 탐지가 효과적으로 수행될 수 있는가?
• RQ2 이상 현상의 순서가 탐지 점수에 영향을 주지 않더라도, 높은 성능을 달성할 수 있는 방법은 무엇인가?
• RQ3 무단순화된 프레임에서 학습된 분류기가 명시적 지도 없이 진짜 이상 현상을 얼마나 잘 식별할 수 있는가?
• RQ4 복잡하고 실세계적인 영상 환경에서 전통적인 밀도 추정 방법보다 순열 기반 검정 전략이 더 우수한 성능을 낼 수 있는가?
• RQ5 라벨이 없는 환경에서 하이퍼파라미터 선택과 특징 표현의 품질에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 훈련 시퀀스를 사용하지 않은 최적 설정에서도 Avenue 데이터셋에서 최신 기술 수준의 성능을 달성하며, 15프레임 윈도우를 사용함으로써 실제 사건보다 최소 15프레임 이르게 이상 현상을 탐지할 수 있다. 이로 인해 다이나믹한 시나리오에서는 잠재적인 거짓 경고가 발생할 수 있다.
• Subway 데이터셋에서는 출구 측면에서 AUC 0.8236, 입구 측면에서 AUC 0.6913을 기록하여 감시 환경에서 뛰어난 성능을 보였다.
• UMN 데이터셋에서는 [2]보다 유일한 한 개의 시나리오를 제외하고 전부에서 성능이 뛰어나며, 영상 평균 AUC는 0.91을 기록했다.
• 학습 중에 프레임을 무작위로 재배열함으로써 최적의 하이퍼파라미터 설정이 아니더라도 성능 향상이 가능했으며, 이는 과적합 및 부적절한 정규화에 대한 강건성을 시사한다.
• 실제 사건보다 최소 15프레임 이르게 이상 현상을 탐지할 수 있었으며, 이는 다이나믹한 시나리오에서 잠재적인 거짓 경고를 유발할 수 있다.
• 강력한 성능에도 불구하고, 사람 오른쪽에서 들어오는 것처럼 맥락에 따라 정의가 애매한 경우에서는 여전히 어려움을 겪고 있으며, 이는 라벨이 있는 훈련 데이터에 의존하는 경향이 있다.