[논문 리뷰] Video Trajectory Classification and Anomaly Detection Using Hybrid CNN-VAE

Santhosh Kelathodi Kumaran, Debi Prosad Dogra외 2명|arXiv (Cornell University)|2018. 12. 18.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 11

한 줄 요약

이 논문은 교통 감시 영상에서 변수 길이의 비디오 오브젝트 트레이젝터리의 분류 및 이상 탐지에 대해 하이브리드 CNN-VAE 아키텍처를 제안한다. 색상 기울기 표현을 사용하여 시간적 특징을 인코딩하고, 기존의 이상 현상과 알려지지 않은 이상 현상 모두를 탐지할 수 있도록 한다. 본 방법은 반감독 트레이젝터리 레이블링, t-SNE를 통한 이방성 분리, 그리고 변수 길이의 트레이젝터리에 대한 엔드 투 엔드 딥 러닝을 활용하여 기존 방법보다 높은 정확도를 달성한다.

ABSTRACT

Classifying time series data using neural networks is a challenging problem when the length of the data varies. Video object trajectories, which are key to many of the visual surveillance applications, are often found to be of varying length. If such trajectories are used to understand the behavior (normal or anomalous) of moving objects, they need to be represented correctly. In this paper, we propose video object trajectory classification and anomaly detection using a hybrid Convolutional Neural Network (CNN) and Variational Autoencoder (VAE) architecture. First, we introduce a high level representation of object trajectories using color gradient form. In the next stage, a semi-supervised way to annotate moving object trajectories extracted using Temporal Unknown Incremental Clustering (TUIC), has been applied for trajectory class labeling. Anomalous trajectories are separated using t-Distributed Stochastic Neighbor Embedding (t-SNE). Finally, a hybrid CNN-VAE architecture has been used for trajectory classification and anomaly detection. The results obtained using publicly available surveillance video datasets reveal that the proposed method can successfully identify some of the important traffic anomalies such as vehicles not following lane driving, sudden speed variations, abrupt termination of vehicle movement, and vehicles moving in wrong directions. The proposed method is able to detect above anomalies at higher accuracy as compared to existing anomaly detection methods.

연구 동기 및 목표

• 감시 영상에서 변수 길이의 비디오 오브젝트 트레이젝터리에 대한 분류 및 이상 탐지 문제를 해결하기 위해.
• 운동 동역학을 포착하는 색상 기울기 표현을 사용하여 시간적 특징을 인코딩하여 이상 탐지 정확도를 향상시키기 위해.
• 예를 들어, 역주행과 같은 알려진 이상 현상과 갑작스러운 정지와 같은 알려지지 않은 이상 현상을 모두 탐지할 수 있도록 하기 위해.
• 맥락 모델링과 강력한 복원 손실을 통해 고밀도 교통 조건에서의 잘못된 경고를 줄이기 위해.
• TUIC 기반 추적과 딥 러닝을 융합한 반감독 프레임워크를 개발하여 확장 가능한 트레이젝터리 레이블링을 가능하게 하기 위해.

제안 방법

• 변수 길이의 트레이젝터리에서 시간적 진화를 인코딩하기 위해 색상 기울기 형태로 트레이젝터리를 표현한다. 이는 다양한 길이에서 운동 패턴을 유지한다.
• 시간적 미지의 증분 클러스터링(TUIC)이 트레이젝터리를 추출한 후, 정상 경로 식별을 위한 mDPMM을 사용한 반감독 레이블링을 수행한다.
• 임bedding 공간에서 정상 트레이젝터리와 이상 트레이젝터리를 시각화하고 분리하기 위해 t-SNE를 적용한다.
• 엔드 투 엔드로 훈련된 하이브리드 CNN-VAE 아키텍처를 사용한다: CNN은 색상 기울기 이미지에서 공간적 특징을 추출하고, VAE는 복원 및 이상도 평가를 위한 잠재 표현을 학습한다.
• 복원 손실(KLD + 가능도)을 사용하여 이상 탐지를 수행하며, 정상 트레이젝터리의 수렴된 손실 값 기반으로 임계치를 설정한다.
• 재구성 오차 분석을 통해 이상을 국소화하고, 신호 상태와 같은 맥락적 신호를 통합하여 맥락 기반 이상을 탐지한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 분류에 적합한 변수 길이의 비디오 트레이젝터리에서 시간적 특징을 효과적으로 인코딩하기 위해 색상 기울기 표현이 유용한가?
• RQ2 반감독 클러스터링과 t-SNE는 감시 데이터에서 정상 및 이상 트레이젝터리를 얼마나 잘 분리하는가?
• RQ3 하이브리드 CNN-VAE 모델은 알려진 및 알려지지 않은 교통 이상 현상을 탐지하는 데 있어 복원 기반 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 기존 방법이 놓치는 바, 예를 들어 녹색 신호 시 직진 운전만 허용되는 상황에서 좌회전을 하는 차량과 같은 맥락 기반 이상 현상을 모델이 탐지할 수 있는가?
• RQ5 제안된 방법은 특히 신호 전환 시기와 같은 고밀도 교통 상황에서 잘못된 경고를 어떻게 처리하는가?

주요 결과

• 제안된 방법은 기존의 복원 기반 방법보다 높은 정확도로 차선 위반, 역주행, 갑작스러운 정지, 속도 변화와 같은 핵심 교통 이상 현상을 탐지한다.
• 하이브리드 CNN-VAE 모델은 희박한 복원 [19] 및 공간-시간 오토에코더 [5]와 비교해 더 낮은 오류 경고 비율을 기록한다. 특히 고밀도 교통 상황에서 유의미한 성능 향상을 보인다.
• 기존 방법이 실패하는 상황—예를 들어, 직진 전용 신호 시 좌회전을 하는 차량—과 같은 맥락 기반 이상 현상을 성공적으로 식별한다.
• 알 수 없는 이상 현상은 VAE의 복원 손실을 통해 탐지하고, 알려진 이상 현상은 높은 정밀도로 CNN 헤드를 사용해 국소화 및 분류한다.
• 기존의 프레임 또는 시퀀스 기반 방법과 달리, 트레이젝터리가 가용한 즉시 이상 탐지가 발생하는 등 이상 국소화 성능이 뛰어나다.
• 수렴된 KLD 및 가능도 손실 기반 임계치 설정은 최소한의 하이퍼파rameter 튜닝으로도 강력하고 데이터 기반의 이상 탐지 기준을 제공한다.