[논문 리뷰] A Survey on Deep Learning Techniques for Video Anomaly Detection

Jessie James P. Suarez, Prospero C. Naval|arXiv (Cornell University)|2020. 09. 29.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 25

한 줄 요약

이 종합 검토는 비디오 이상 탐지에 대한 딥러닝 기법에 대한 종합적인 개요를 제공하며, 이상 탐지 방법에 따라 재구성, 미래 프레임 예측, 분류 또는 점수 기반 접근 방식으로 방법을 분류한다. 수작업 특징에서 엔드 투 엔드 학습으로의 전환을 강조하고, 공간-시간 모델링의 중요성을 부각하며, 실제 적용 도전 과제를 해결하기 위해 더 견고한 평가 지표와 약한 지도 학습이 필요하다고 촉구한다.

ABSTRACT

Anomaly detection in videos is a problem that has been studied for more than a decade. This area has piqued the interest of researchers due to its wide applicability. Because of this, there has been a wide array of approaches that have been proposed throughout the years and these approaches range from statistical-based approaches to machine learning-based approaches. Numerous surveys have already been conducted on this area but this paper focuses on providing an overview on the recent advances in the field of anomaly detection using Deep Learning. Deep Learning has been applied successfully in many fields of artificial intelligence such as computer vision, natural language processing and more. This survey, however, focuses on how Deep Learning has improved and provided more insights to the area of video anomaly detection. This paper provides a categorization of the different Deep Learning approaches with respect to their objectives. Additionally, it also discusses the commonly used datasets along with the common evaluation metrics. Afterwards, a discussion synthesizing all of the recent approaches is made to provide direction and possible areas for future research.

연구 동기 및 목표

• 최근 딥러닝 기반 비디오 이상 탐지 접근 방식을 그들의 최종 이상 탐지 메커니즘 기반으로 체계적으로 분류하는 것.
• 일반적으로 사용되는 데이터셋과 평가 지표를 분석하여 현재 벤치마크의 한계를 부각하고, 더 현실적이고 대규모의 데이터가 필요하다는 점을 강조하는 것.
• 현재 연구의 격차를 특정화하는 것, 특히 맥락 인식 모델링의 부족과 수동 레이블링 부담을 줄이기 위한 약한 지도 학습 또는 비지도 학습의 필요성.
• 트렌드를 통합하고 엔드 투 엔드 아키텍처, 어텐션 메커니즘, 향상된 평가 기준과 같은 방향을 제안하여 향후 연구를 이끌어내는 것.

제안 방법

• 딥러닝 기반 이상 탐지 방법을 네 가지 유형으로 분류: 재구성 기반, 미래 프레임 예측 기반, 분류 기반, 점수 기반 접근 방식.
• 시공간 특징(예: 옵티컬 플로우, 운동 패턴, 외관 표현)이 딥 네트워크의 입력으로 사용되는 방식을 검토.
• 어텐션 메커니즘과 트랜스포머가 이상 탐지에서 맥락 모델링 향상에 어떻게 활용되고 있는지 분석.
• 재구성 또는 생성 모델링을 통해 정상 비디오 패턴을 학습하는 데서 오토에인코더, 변분 오토에인코더, GAN의 역할을 평가.
• 완전한 지도 학습 없이도 학습을 이끄는 데 도움이 되는 저수준 특징(예: 옵티컬 플로우, 기울기 히스토그램)을 딥 네트워크에 통합하는 방식을 논의.
• 특징 학습과 이상 탐지 모두를 동시에 수행하는 통합형 엔드 투 엔드 딥러닝 프레임워크의 필요성을 제안하여, 구현 가능성과 내구성을 향상.

실험 결과

연구 질문

• RQ1 다양한 비디오 데이터셋에서 다양한 딥러닝 아키텍처(예: 오토에인코더, GAN, 트랜스포머)가 이상 탐지 성능에 어떻게 영향을 미치는가?
• RQ2 현재 평가 지표(프레임 수준 및 픽셀 수준)가 실제 비디오 이상 탐지 작업에서 모델 성능을 얼마나 정확하게 반영하는가?
• RQ3 기존 데이터셋이 실제 감시 시나리오를 얼마나 잘 반영하고 있는지 핵심 한계점은 무엇이며, 어떻게 개선될 수 있는가?
• RQ4 약한 지도 학습 또는 비지도 학습은 비디오 이상 탐지에서 비용이 많이 드는 수동 레이블링 의존도를 어떻게 줄일 수 있는가?
• RQ5 어떻게 어텐션 메커니즘과 맥락 모델링이 미세하거나 드문 이상을 탐지하는 데 있어 딥러닝 모델의 내구성을 향상시킬 수 있는가?

주요 결과

• 딥러닝 기법은 특징을 자동으로 학습함으로써 분류 가능한 시공간 특징을 제공하여, 기존의 수작업 특징 기반 접근 방식을 뛰어넘는 성능 향상을 이뤘다.
• 재구성 기반 및 미래 프레임 예측 기반 방법이 지배적이며, 오토에인코더와 GAN이 UCSD 및 UCF-Crime와 같은 벤치마크 데이터셋에서 뛰어난 성능을 보였다.
• 딥 네트워크 내에서 옵티컬 플로우와 외관 특징을 통합하면, 특히 운동 기반 이상 탐지에서 정확도가 향상된다.
• 진전이 있었음에도 불구하고, 현재 평가 지표는 이상의 공간적 국소화를 충분히 평가하지 못하고 있어, 더 견고하고 맥락 인식 기반의 지표가 필요하다.
• Sultani 등(2018)과 Liu 등(2018)의 대규모 데이터셋은 더 나은 모델 훈련을 가능하게 했지만, 레이블링이 여전히 주요 병목 현상이다.
• 향후 연구는 엔드 투 엔드 딥러닝 프레임워크, 맥락 인식 모델링, 약한 지도 학습을 우선순위로 삼아 실제 적용 가능성 향상과 레이블링 의존도 감소에 기여해야 한다.