[논문 리뷰] Motion-Aware Feature for Improved Video Anomaly Detection

Yi Zhu, Shawn Newsam|arXiv (Cornell University)|2019. 07. 24.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 115

한 줄 요약

이 논문은 시간 보강 네트워크를 통해 학습된 모션 인식 특성과 주의 기반의 Temporal MIL 랭킹 모델을 제시하며, 기존 특징과 결합했을 때 이상 탐지에서 경쟁력 있는 성능과 UCF Crime 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Motivated by our observation that motion information is the key to good anomaly detection performance in video, we propose a temporal augmented network to learn a motion-aware feature. This feature alone can achieve competitive performance with previous state-of-the-art methods, and when combined with them, can achieve significant performance improvements. Furthermore, we incorporate temporal context into the Multiple Instance Learning (MIL) ranking model by using an attention block. The learned attention weights can help to differentiate between anomalous and normal video segments better. With the proposed motion-aware feature and the temporal MIL ranking model, we outperform previous approaches by a large margin on both anomaly detection and anomalous action recognition tasks in the UCF Crime dataset.

연구 동기 및 목표

• 영상 이상 탐지를 위한 주요 기준으로 모션 정보를 활용하는 동기 부여.
• 광류에서 unsupervised 방식으로 학습된 모션 인식 특징을 개발.
• 주의 기반의 MIL 랭킹에 시간적 맥락을 도입.
• 모션 인식 특징이 기존 특징을 보완하여 성능을 향상시킴을 입증.
• UCF Crime에서 이상 탐지 및 이상 행동 인식의 최첨단/최고 성능을 달성함을 입증.

제안 방법

• 15장의 옵티컬 플로 맵을 입력으로 받아 bottleneck 표현과 전역 평균 풀링을 통해 1024차원 모션 인식 특징을 학습하는 시간 보강 네트워크(오토인코더) 제안.
• 입력 영상의 픽셀 단위 L1 재구성 손실로 비지도 학습 수행.
• 학습된 모션 인식 특징을 특징 파이프라인에 연결(concatenation)하여 기존 비디오 특징에 플러그인으로 사용.
• 비디오 구간 간의 시간 맥락을 포착하기 위한 주의 기반의 Temporal MIL 랭킹 모델을 도입하고, 구간 기여에 가중치를 부여하는 주의 가중치를 학습.
• 고리한 시계열 MIL 랭킹 손실과 희소성 제약을 채택하여 높은 점수를 받는 이상 구간의 드문 출현을 촉진.
• UCF Crime 데이터셋에서 프레임 방법과 비교해 보며, 보완성과 효과를 입증하기 위한 이전 방법 및 절충점과의 비교 평가.

실험 결과

연구 질문

• RQ1 모션 중심의 비지도 학습 특징이 이미지 기반 또는 순수 시공간 특징에 비해 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 MIL에서 주의 메커니즘을 통해 시간적 맥락을 도입하면 이상 이벤트와 정상 이벤트 간의 구간 수준 구분이 향상되는가?
• RQ3 모션 인식 특징이 C3D, I3D 등 기존 특징과의 상호 작용에서 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ4 이상 탐지 및 이상 행동 인식에서 모션 표현으로 광류 기반 모션이 다른 모션 cue에 비해 어떤 이점을 제공하는가?
• RQ5 제안된 프레임워크가 실제 감시 데이터에서 이상 탐지와 이상 행동 인식 모두를 향상시킬 수 있는가?

주요 결과

방법	AUC (%)
Hasan et al. (2016)	50.6
Lu et al. (2013)	65.5
Sultani et al. (2018) (baseline)	75.4
MA (motion-aware feature)	72.1
Hasan et al. (2016) + MA	62.7
Lu et al. (2013) + MA	73.4
Sultani et al. (2018) + MA	79.0

• 모션 인식 특징 단독으로도 UCF Crime에서 경쟁력 있는 AUC를 달성하며, 다른 특징과 결합 시 보완적임.
• 주의 기반의 Temporal MIL은 비주의 MIL 변형에 비해 AUC를 약 1–2 포인트 향상시킴.
• Sultani 등(2018) 기본설정에 모션 인식 특징을 결합하면 해당 설정에서 새로운 최고 AUC 79.0% 달성.
• 모션 인식 특징은 VGG16, Inception, I3D, C3D와 결합했을 때 실험 전반에서 정확도를 지속적으로 향상시킴.
• 빠른 모션 클래스(예: 체포, 폭행, 격투)에서 큰 개선이 나타남.
• 시각화 결과 모션 인식 특징 사용 시 거짓 양성률이 낮은 상태에서 진정 양성률이 높아짐을 보여줌.