[논문 리뷰] Modeling Representation of Videos for Anomaly Detection using Deep Learning: A Review

Yong Shean Chong, Yong Haur Tay|arXiv (Cornell University)|2015. 05. 04.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 16

한 줄 요약

이 리뷰는 비정상 탐지용 딥러닝 기반 영상 표현 모델링을 검토하며, 비지도 및 약한 지도 학습 기반 딥 아키텍처가 원시 영상 데이터에서 분류 가능한 시공간 특징을 어떻게 학습하는지에 초점을 맞춘다. 자동에코더, 합성곱 신경망, 순환 모델이 주요 기법으로 언급되며, 다양한 영상 환경에서 차원 축소를 통해 정확도를 향상시키고 거짓 경고율을 낮춘다.

ABSTRACT

This review article surveys the current progresses made toward video-based anomaly detection. We address the most fundamental aspect for video anomaly detection, that is, video feature representation. Much research works have been done in finding the right representation to perform anomaly detection in video streams accurately with an acceptable false alarm rate. However, this is very challenging due to large variations in environment and human movement, and high space-time complexity due to huge dimensionality of video data. The weakly supervised nature of deep learning algorithms can help in learning representations from the video data itself instead of manually designing the right feature for specific scenes. In this paper, we would like to review the existing methods of modeling video representations using deep learning techniques for the task of anomaly detection and action recognition.

연구 동기 및 목표

• 비정상 탐지에서 영상 표현을 모델링하기 위한 현재의 딥러닝 기법을 분석하는 것.
• 고차원성, 환경적 변동성, 복잡한 인간 운동 등 영상 비정상 탐지의 과제를 규명하는 것.
• 수동 레이블링 없이 특징을 학습하는 데서 약한 지도 학습 기반 딥러닝의 효과를 평가하는 것.
• 전통적인 수작업 특징 엔지니어링과 딥러닝 기반 표현 학습을 비교하는 것.
• 영상 기반 비정상 탐지 및 동작 인식 분야의 최신 기법에 대한 종합적인 개요 제공

제안 방법

• 입력 프레임을 재구성함으로써 영상 클립의 압축된 저차원 표현을 학습하기 위해 자동에코더를 활용한다.
• 개별 영상 프레임에서 공간적 특징을 추출하기 위해 합성곱 신경망(CNN)을 적용한다.
• 연속된 영상 프레임 간의 시간적 의존성을 모델링하기 위해 순환 신경망(RNN), 특히 LSTMs를 활용한다.
• CNN과 RNN 아키텍처를 조합함(예: C3D, 3D-CNNs)으로써 영상 데이터의 공간적 및 시간적 패턴을 동시에 캡처한다.
• 비정상 탐지 작업에 대한 미세조정 이전에 대규모 영상 데이터셋에서 약한 지도 학습을 통한 사전 훈련을 활용한다.
• 재구성 오차 또는 비정상 점수 예측을 비정상 영상 세그먼트를 식별하는 주요 지표로 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 얼마나 많은 인간 레이블링 데이터 없이도 의미 있는 영상 표현을 효과적으로 학습할 수 있는가?
• RQ2 영상 스트림에서 시공간 특징을 캡처하는 데 가장 효과적인 딥 아키텍처는 무엇인가?
• RQ3 자동에코더나 CNN-RNN 하이브리드를 통한 표현 학습은 수작업 특징에 비해 탐지 정확도를 얼마나 향상시키는가?
• RQ4 약한 지도 학습 기반 사전 훈련 기법은 실세계 영상 감시 환경에서 거짓 경고율을 얼마나 줄이는가?
• RQ5 다양한 환경 조건과 운동 변화를 다루는 데서 현재의 딥 표현 학습 기법의 한계는 무엇인가?

주요 결과

• 특히 CNN과 RNN을 조합한 딥러닝 모델은 비정상 탐지 정확도에서 전통적인 수작업 특징을 크게 능가한다.
• 자동에코더 기반 재구성 오차는 비정상 영상 세그먼트를 식별하는 신뢰할 수 있는 지표이며, 시간적 모델링과 조합될 경우 더욱 효과적이다.
• 대규모 영상 데이터셋에서의 약한 지도 학습 기반 사전 훈련은 일반화 능력을 향상시키고, 후속 비정상 탐지 작업에서 거짓 경고율을 낮춘다.
• 3D 합성곱 네트워크(예: C3D)는 시공간 역학을 효과적으로 캡처하여 복잡한 비정상 행동의 탐지 성능을 향상시킨다.
• 딥 아키텍처를 통한 공간적 및 시간적 모델링의 통합은 더 강건하고 일반화 능력이 뛰어난 비정상 탐지 시스템을 가능하게 한다.
• 진전이 있었음에도 불구하고, 특히 제약 없는 감시 환경에서 인간 운동의 높은 변동성과 환경 조건의 다양성을 다루는 데서 여전히 과제가 남아 있다.