[논문 리뷰] Few-shot Scene-adaptive Anomaly Detection

Yiwei Lu, Frank Yu외 2명|arXiv (Cornell University)|2020. 07. 15.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 소수의 프레임으로 새로운 보기에서의 이상 탐지 모델을 빠르게 적응시킬 수 있도록 메타학습을 사용하는 소수 샘플 시나리오 적응형 이상 탐지 방법을 제안한다. 제안된 방법은 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 피취너닝 기반 모델보다 뚜렷이 뛰어나고, 다양한 시나리오와 모odalities(예: 깊이 이미지 포함)에 걸쳐 강력한 일반화 능력을 보여준다.

ABSTRACT

We address the problem of anomaly detection in videos. The goal is to identify unusual behaviours automatically by learning exclusively from normal videos. Most existing approaches are usually data-hungry and have limited generalization abilities. They usually need to be trained on a large number of videos from a target scene to achieve good results in that scene. In this paper, we propose a novel few-shot scene-adaptive anomaly detection problem to address the limitations of previous approaches. Our goal is to learn to detect anomalies in a previously unseen scene with only a few frames. A reliable solution for this new problem will have huge potential in real-world applications since it is expensive to collect a massive amount of data for each target scene. We propose a meta-learning based approach for solving this new problem; extensive experimental results demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 이상 탐지 모델이 각 타겟 시나리오에서 대규모 데이터를 요구하고, 다양한 카메라 위치 간에 일반화하지 못하는 한계를 해결하기 위해.
• 모델을 새로운 시나리오에 소수의 프레임만으로 적응시킬 수 있는 새로운 소수 샘플 시나리오 적응형 이상 탐지 문제를 제안하기 위해.
• 빠른 적응 능력을 유지하면서도 높은 탐지 정확도를 확보할 수 있도록 메타학습 프레임워크를 개발하기 위해.
• 다양한 시나리오, 특히 깊이 이미지와 같은 다른 모달리티를 포함한 시나리오 간의 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 메타학습을 사용하여, 각 작업이 서로 다른 카메라 위치의 데이터를 사용해 새로운 시나리오에 소수 샘플로 적응하는 것을 시뮬레이션하는 작업 분포에서 모델을 훈련시킨다.
• 메타학습 기간 동안, 모델은 해당 시나리오의 소수의 서포트 프레임만을 사용해 새로운 시나리오에 신속히 적응하도록 최적화된다.
• 기본 구조는 프레임 재구성에 대해 훈련된 r-GAN 모델이며, 추론 시에는 타겟 시나리오의 소수의 프레임을 사용해 피취너닝된다.
• 과적합을 방지하기 위해, 각 훈련 에포크에서 여러 시나리오를 샘플링하여 메타학습 목표를 최적화한다.
• 추론 시, 모델은 해당 시나리오의 K개 프레임을 사용해 파rameter를 업데이트하고, 나머지 비디오에 대해 이상 탐지 작업을 수행한다.
• 정상 프레임의 재구성 오차를 최소화하는 방식으로, 소수 샘플 적응 프로토콜을 통해 작업별 적응 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 기존에 보지 못한 새로운 감시 시나리오에 대해, 광범위한 재훈련 없이 소수의 프레임만으로 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 표준 피취너닝 대비 메타학습이 다양한 카메라 시나리오 간의 일반화 능력을 어떻게 향상시키는가?
• RQ3 깊이 이미지나 상당히 다른 환경을 가진 시나리오와 같은 다양한 시각적 특성의 시나리오로 모델이 얼마나 일반화되는가?
• RQ4 메타학습 에포크당 샘플링하는 시나리오 수를 늘리면 모델의 강건성과 성능이 향상되는가?

주요 결과

• 상하이 테크 데이터셋에서 제안된 방법은 K=1일 때 AUC 80.60, K=10일 때 82.38을 기록했으며, 평균적으로 피취너닝 기반 모델보다 2% 이상 뛰어나다.
• 더 도전적인 UCF Crime 데이터셋에서, 메타학습 기반 방법은 교차 데이터셋 테스트에서 기반 모델 대비 20% 이상의 성능 향상을 보이며 강력한 일반화 능력을 입증했다.
• 깊이 이미지를 사용하는 UR Fall 데이터셋에 대해서도 모델이 성공적으로 적응했으며, 훈련 데이터와 근본적으로 다른 시나리오임에도 불구하고, 이는 모달리티 이동에 대한 강건성을 시사한다.
• 메타학습 에포크당 5개의 작업을 샘플링한 경우(N=5)가 단일 작업(N=1)보다 더 뛰어난 성능을 보였으며, 이는 다중 시나리오 샘플링이 일반화 능력을 향상시킨다는 것을 보여준다.
• 단 한 장의 서포트 프레임(K=1)만으로도 메타학습된 모델이 표준 피취너닝을 능가했으며, 이는 메타학습 적응 메커니즘이 효과적이라는 것을 입증한다.