[논문 리뷰] AAD: Adaptive Anomaly Detection through traffic surveillance videos

Mohammmad Farhadi Bajestani, Seyed Soroush Heidari Rahmat Abadi외 2명|arXiv (Cornell University)|2018. 08. 29.

Anomaly Detection Techniques and Applications참고 문헌 5인용 수 3

한 줄 요약

이 논문은 공간적 및 시간적 이방성(anomalies)을 식별하기 위해 객체 검출을 위해 Faster R-CNN을, 운동 분석을 위해 광학 흐름(optical flow)을 조합한 실시간 영상 이방성 탐지 시스템인 AAD(Adaptive Anomaly Detection)를 제안한다. 운동 분포를 정규 분포로 모델링하고 임계값을 동적으로 조정함으로써 AAD는 이전 방법들과 유사한 정확도를 유지하면서도 약 2배 빠른 추론 속도(~2x speedup)를 달성하였으며, 비정적 장면과 희귀 이방성에 대한 처리 능력이 향상되었다.

ABSTRACT

Anomaly detection through video analysis is of great importance to detect any anomalous vehicle/human behavior at a traffic intersection. While most existing works use neural networks and conventional machine learning methods based on provided dataset, we will use object recognition (Faster R-CNN) to identify objects labels and their corresponding location in the video scene as the first step to implement anomaly detection. Then, the optical flow will be utilized to identify adaptive traffic flows in each region of the frame. Basically, we propose an alternative method for unusual activity detection using an adaptive anomaly detection framework. Compared to the baseline method described in the reference paper, our method is more efficient and yields the comparable accuracy.

연구 동기 및 목표

• 정상 행동이 시간에 따라 변화하는 교통 감시 영상에서 희귀하고 비정적 이방성을 탐지하는 도전 과제를 해결하기 위해.
• 동적 영상 시퀀스에서 학습할 수 있는 자동화되고 적응형 이방성 탐지 시스템을 개발하여 인간의 감독에 의존도를 낮추기 위해.
• 객체 인식과 운동 기반 이방성 모델링을 통합함으로써 기존 방법보다 효율성과 정확도를 향상시키기 위해.
• 블록 단위의 운동 분산과 통계적 분포 기반의 적응형 임계값을 사용하여 영상 스트림의 데이터 희소성과 노이즈를 처리하기 위해.
• 하이브리드 지도-비지도 프레임워크를 통해 손실 없는 영상 표현과 공간-시간 이방성 탐지를 가능하게 하기 위해.

제안 방법

• ImageNet에서 미리 훈련된 ResNet-101 백본을 사용하여 각 영상 프레임의 객체를 검출하고 분류하며, 신뢰도 임계값을 0.8로 설정한다.
• Farneback의 광학 흐름 알고리즘을 사용하여 3단계 피라미드, 15×15 윈도우, 5회 반복, 가우시안 표준편차 1.2를 설정하여 연속 프레임 간의 운동 벡터를 추정한다.
• 프레임을 공간 블록으로 나누고 각 블록의 운동 분산을 계산하여 국소 운동 활동을 표현함으로써 운동 분포 지ap을 형성한다.
• 운동 분산 값에 대해 정규 분포를 사용하여 정상 운동 행동을 모델링하고, 평균 $\mu$ 중심에 위치한 적응형 윈도우 크기 $k\sigma$를 사용하여 이방성을 분류한다.
• 슬라이딩 윈도우 방식을 적용하여 평균에서 $k\sigma$ 이내의 데이터는 정상으로 간주하고, 그 외의 값은 이방성으로 표시한다.
• 객체 인식 결과를 통합하여 이방성 탐지 성능을 향상시키며, 객체 유형과 위치 정보를 통합함으로써 참 양성률을 높인다.

실험 결과

연구 질문

• RQ1 기존에 이방성이었던 사건이 시간이 지남에 따라 정상이 되는 비정적 교통 장면에서, 영상 이방성 탐지 시스템이 어떻게 이에 적응할 수 있는가?
• RQ2 객체 검출과 운동 기반 분석의 조합이 이방성 탐지 정확도를 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ3 이방성 탐지에서 참 양성률과 참 음성률을 균형 잡는 데 최적의 적응형 임계값 윈도우 크기 $k$는 무엇인가?
• RQ4 Faster R-CNN 객체 인식을 통합할 경우, 실생활 교통 영상에서 운동 기반 이방성 탐지의 성능에 어떤 영향을 미치는가?
• RQ5 기존의 기준 운동 영향 지도(MIM) 방법에 비해 제안된 방법이 감시 영상 스트림의 데이터 희소성과 노이즈를 얼마나 잘 처리하는가?

주요 결과

• 객체 인식과 운동 분석을 통합한 AAD 모델은 UCSD Ped1 데이터셋에서 참 양성률 0.56, 참 음성률 0.36를 기록하며, 인식 정보가 없는 기준 모델보다 우수한 성능을 보였다.
• 적응형 임계값에서 $k=1$으로 설정할 경우 참 양성률과 참 음성률 모두 1.0으로 나타나 노이즈에 과적합됨을 보여주었고, $k=6$일 경우 두 비율이 근처 0으로 떨어져 민감도가 떨어지는 것을 확인했다.
• 모델 복잡도를 단순화함으로써 정확도는 유사한 수준을 유지하면서도 기존 기준 방법 대비 약 2배 빠른 속도로 실행된다.
• 운동 분포 지도는 정상적으로 비어 있는 영역에 차량이 존재하는 등의 이방성 운동 패턴을 효과적으로 포착한다. (그림 9b 참조)
• 객체 인식은 탐지 신뢰도를 향상시킨다: 인간 확률 지ap에서 빨간색 영역(그림 9a)이 탐지된 이방성과 일치함으로써 맥락 일관성을 확인한다.
• UCSD Ped1과 Ped2 데이터셋 간 성능 차이는 다양한 카메라 각도와 객체 속도의 영향을 받는 것으로 분석되어, 장면 역학적 특성에 민감함을 시사한다.