[논문 리뷰] A Survey of Single-Scene Video Anomaly Detection

Bharathkumar Ramachandra, Michael J. Jones외 1명|arXiv (Cornell University)|2020. 04. 13.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 종합적 서베이는 단일 장면 영상 이상 탐지에 대해 포괄적인 개요를 제공하며, 방법, 데이터셋, 평가 프로토콜을 분류한다. 표현 및 모델링의 추세를 부각하고 재현 가능 연구를 지지하며, 유턴 및 희귀 정상 활동과 같은 주요 과제를 밝히며, 향후 연구를 위해 더 크고 다양한 데이터셋과 위치에 의존하는 이상 탐지의 강력한 방법을 촉구한다.

ABSTRACT

This survey article summarizes research trends on the topic of anomaly detection in video feeds of a single scene. We discuss the various problem formulations, publicly available datasets and evaluation criteria. We categorize and situate past research into an intuitive taxonomy and provide a comprehensive comparison of the accuracy of many algorithms on standard test sets. Finally, we also provide best practices and suggest some possible directions for future research.

연구 동기 및 목표

• 기존의 단일 장면 영상 이상 탐지 방법에 대한 체계적인 분류 체계와 포괄적인 비교를 제공하는 것.
• 위치에 의존하는 이상, 유턴, 희귀 정상 활동과 같은 핵심 과제를 식별하고 분석하는 것.
• 향후 연구에서 표준화된 평가, 재현 가능한 연구 및 런타임 분석을 촉구하는 것.
• 현재 데이터셋의 한계를 부각하고, 그룹 활동, 궤적, 일일 시간대 이상을 포함한 더 다양한 벤치마크가 필요하다는 점을 강조하는 것.
• 편향을 줄이고 일반화 능력을 향상시키기 위해 모델 평가 및 데이터셋 선택 분야에서 최선의 실천 방안을 안내하는 것.

제안 방법

• 체계적인 분류 체계를 사용하여 영상 이상 탐지 방법을 문제 정의, 표현 기법, 모델링 접근 방식으로 분류한다.
• UCSD Ped1/Ped2, CUHK Avenue, Subway, UMN, Street Scene와 같은 공개된 데이터셋을 검토하며, 이상 유형과 평가 프로토콜에 중점을 둔다.
• 일致한 평가 체계를 사용하여 표준 테스트 세트에서 알고리즘 정확도를 비교함으로써 공정한 벤치마킹을 가능하게 한다.
• 입력 표현의 추세를 분석하며, 원시 이미지 패치에서 다중 모odal 입력(프레임 + 옵티컬 플로우)으로의 전환과 함께, 고비용의 옵티컬 플로우 계산을 피하기 위해 3D 컨볼루션으로의 이행을 다룬다.
• 손으로 만든 특징과 단순 분포에서 시작해 딥 러닝을 통해 최적화된 엔드 투 엔드 학습된 표현으로의 모델링 진화를 추적한다.
• 다중 데이터셋 평가, 런타임 분석, 정성적 오진 평가를 포함한 최선의 실천 방안을 제안하여 모델 편향을 탐지한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크 데이터셋에서 다양한 영상 이상 탐지 방법의 정확도는 어떻게 비교되는가?
• RQ2 현재 데이터셋의 핵심 한계는 무엇인가? 특히, 유턴, 그룹 활동, 일일 시간대 변화와 같은 다양한 이상 유형을 포괄하지 못한다는 점이다.
• RQ3 데이터셋 크기와 계산 능력의 증가에 대응하여 표현 및 모델링 기법은 어떻게 진화해 왔는가?
• RQ4 왜 단일 장면 설정이 위치에 의존하는 이상을 탐지하는 데 다중 장면 설정보다 더 적합한가?
• RQ5 강건성과 공정성을 확보하기 위해 영상 이상 탐지 방법을 평가하고 재현하기 위한 최선의 실천 방안은 무엇인가?

주요 결과

• UCSD Ped1/Ped2 및 UMN과 같은 현재의 데이터셋은 고속도 이상에 치우쳐 있어, 이들 데이터셋 전용으로 훈련된 방법에서 과적합이 발생한다.
• CUHK Avenue 및 Street Scene는 이상 유형의 다양성이 더 높으며, 편향 없는 평가를 위해 필수적인 보완 자료로 권장된다.
• 분야는 손으로 만든 특징에서 데이터 기반 표현으로의 전환을 겪었으며, 딥 러닝 모델이 데이터에서 복잡한 패턴을 직접 학습할 수 있다는 능력 덕분에 현재 지배적이다.
• 비용이 많이 드는 옵티컬 플로우 계산을 대체하기 위해 3D 및 팽창된 3D 컨볼루션을 사용하는 경향이 커지고 있으며, 이는 효율성과 확장성 향상에 기여한다.
• 많은 기존 방법은 운동 신호에 크게 의존하기 때문에, 특히 체류 이상(로이터링)을 탐지하지 못하는 경우가 많다. 이는 현재 모델링 접근 방식의 심각한 격차를 보여준다.
• 희귀하지만 정상적인 활동(예: 보행자가 신발 끈을 묶기 위해 멈추는 것)은 일반적으로 오진을 유발하므로, 저주파수 정상 행동을 포괄하는 모델이 필요하다는 점을 시사한다.