[논문 리뷰] Challenges in Time-Stamp Aware Anomaly Detection in Traffic Videos

Kuldeep Biradar, Ayushi Gupta외 2명|arXiv (Cornell University)|2019. 06. 11.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 배경 모델링, 객체 국소화, 시간스탬프 통합 이상 탐지 점수를 활용하여 희귀한 비정상 이벤트를 향상된 방식으로 탐지하는 세 단계로 구성된 타임스탬프 인식 이상 탐지 프레임워크를 제안한다. NVIDIA AI City Challenge 2019 Track 3 데이터셋에서 평가된 결과, 시간적 맥락과 타임스탬프 인식 의사결정을 통합함으로써 데이터 불균형과 희소성 문제를 해결하면서 이상 탐지 성능이 향상됨을 입증하였다.

ABSTRACT

Time-stamp aware anomaly detection in traffic videos is an essential task for the advancement of the intelligent transportation system. Anomaly detection in videos is a challenging problem due to sparse occurrence of anomalous events, inconsistent behavior of a different type of anomalies and imbalanced available data for normal and abnormal scenarios. In this paper, we present a three-stage pipeline to learn the motion patterns in videos to detect a visual anomaly. First, the background is estimated from recent history frames to identify the motionless objects. This background image is used to localize the normal/abnormal behavior within the frame. Further, we detect an object of interest in the estimated background and categorize it into anomaly based on a time-stamp aware anomaly detection algorithm. We also discuss the challenges faced in improving performance over the unseen test data for traffic anomaly detection. Experiments are conducted over Track 3 of NVIDIA AI city challenge 2019. The results show the effectiveness of the proposed method in detecting time-stamp aware anomalies in traffic/road videos.

연구 동기 및 목표

• 교통 비디오 스트림에서 희귀하고 비일관적이며 불균형한 이상 이벤트를 탐지하는 데 도전하는 것.
• 타임스탬프 인식 분석을 통해 시간적 맥락을 통합함으로써 미리 보지 못한 테스트 데이터에서 이상 탐지 성능을 향상시키는 것.
• 배경 추정과 객체 수준 분석을 활용하여 정상 및 비정상 행동을 국소화하는 강력한 파이프라인을 개발하는 것.
• 복잡한 교통 상황을 포함한 실제 벤치마크 데이터셋에서 방법을 평가하는 것.
• 미리 보지 못한 교통 비디오 데이터에 일반화하는 데 있어 이상 탐지 모델의 주요 제약 조건과 과제를 특정하는 것.

제안 방법

• 최근 비디오 프레임에서 배경 모델을 추정하여 움직이지 않는 물체를 식별하고 정상 장면 콘텐츠의 기준을 설정한다.
• 추정된 배경에서 관심 있는 움직이는 물체를 감지하고 이상 분류를 위해 분리한다.
• 시간스탬프 인식 이상 탐지 알고리즘이 시간에 따라 물체 행동을 평가하고, 시간적 맥락을 통합하여 정상적인 변동과 이상을 구분한다.
• 프레임 간의 운동 패tern 학습을 통해 일반적인 교통 행동을 모델링하고 이격을 경고한다.
• 이 방법은 다양한 도시 교통 풍경을 포함한 NVIDIA AI City Challenge 2019 Track 3 데이터셋에서 훈련 및 평가된다.
• 시스템은 타임스탬프 메타데이터를 활용하여 이상 점수를 정밀하게 조정함으로써 시간적 시퀀스에서 탐지 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 타임스탬프 정보를 교통 비디오의 이상 탐지 모델에 효과적으로 통합하여 희귀한 이벤트 탐지 능력을 향상시킬 수 있는가?
• RQ2 실제 교통 상황에서 타임스탬프 인식 이상 탐지 모델을 미리 보지 못한 테스트 데이터에 일반화할 때의 주요 과제는 무엇인가?
• RQ3 배경 모델링은 복잡한 교통 비디오 시퀀스에서 정상 및 비정상 행동을 분리하는 데 어떻게 기여하는가?
• RQ4 시간적 맥락을 통합함으로써 희귀하고 비일관적인 이상 탐지 능력이 얼마나 향상되는가?
• RQ5 현실 세계의 불균형적인 교통 비디오 데이터에 적용되었을 때 현재 접근 방식의 성능 한계는 무엇인가?

주요 결과

• 제안된 세 단계 파이프라인은 배경 모델링과 타임스탬프 인식 점수를 조합하여 교통 비디오에서 이상을 효과적으로 탐지한다.
• 타임스탬프를 통한 시간적 맥락 통합은 모델이 희귀한 이상을 정상적인 변동에서 구분하는 능력을 향상시킨다.
• NVIDIA AI City Challenge 2019 Track 3 데이터셋의 미리 보지 못한 테스트 세트에서 모델의 강건성이 향상됨을 입증하였다.
• 타임스탬프 통합에도 불구하고 데이터 불균형과 새로운 시나리오로의 일반화 문제는 여전히 중요한 과제로 남아 있다.
• 배경 추정을 활용함으로써 움직이는 물체의 국소화가 향상되고 정상 교통 조건에서의 오류 경고 수가 감소한다.
• 결과는 실생활 교통 비디오 응용 분야에서 타임스탬프 인식 분석이 이상 탐지 성능을 향상시키는 데 효과적임을 확인한다.