[논문 리뷰] Hybrid Deep Network for Anomaly Detection

Trong-Nguyen Nguyen, Jean Meunier|arXiv (Cornell University)|2019. 08. 17.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 25

한 줄 요약

이 논문은 시공간 영상 큐브에서 공간적 인식 특징을 학습함으로써 감시 영상에서 이상행동을 탐지하기 위해 감독 분류 헤드를 갖춘 하이브리드 딥 컨volution 오토에인코더를 제안한다. 재구성 및 공간 분류 손실을 함께 최적화함으로써, 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 다중 구성 요소 점수 융합을 통해 이상행동 점수를 향상시켰고, 추론 분석을 통해 디코더의 긍정적 영향을 입증하였다.

ABSTRACT

In this paper, we propose a deep convolutional neural network (CNN) for anomaly detection in surveillance videos. The model is adapted from a typical auto-encoder working on video patches under the perspective of sparse combination learning. Our CNN focuses on (unsupervisedly) learning common characteristics of normal events with the emphasis of their spatial locations (by supervised losses). To our knowledge, this is the first work that directly adapts the patch position as the target of a classification sub-network. The model is capable to provide a score of anomaly assessment for each video frame. Our experiments were performed on 4 benchmark datasets with various anomalous events and the obtained results were competitive with state-of-the-art studies.

연구 동기 및 목표

• 정상 패턴이 지배하는 감시 영상에서 드물고 다양한 이상행동 이벤트를 탐지하는 데 도전하는 것.
• 공간적 위치 정보를 보조 신호로 삼아 비지도 이상행동 탐지 성능을 향상시키는 것.
• 다중 패치 기반 오토에인코더를 대체하는 단일 효율적인 딥 네트워크를 설계하는 것.
• 다양한 네트워크 구성 요소에서 유래한 재구성 및 분류 기반 점수를 융합하여 이상행동 점수를 향상시키는 것.
• 디코더와 적대적 훈련이 탐지 성능에 미치는 영향을 평가하는 것.

제안 방법

• 모델은 국소적 운동 및 외관 패턴을 포착하기 위해 크기가 10×10×3(연속된 회색조 프레임 3장)인 3차원 시공간 큐브를 처리한다.
• 컨volution 오토에인코더는 비지도 방식으로 정상 이벤트의 공통된 특징을 학습한다.
• 버티브 레이어에 분류 서브넷을 추가하여 각 공간 패치 위치를 별개의 클래스로 간주함으로써 학습된 특징의 공간 분별성을 강제한다.
• 재구성 손실(L2)과 분류 교차엔트로피 손실을 조합한 손실 함수를 사용하여 훈련하며, 디크리미네이터를 통한 적대적 훈련을 선택적으로 적용할 수 있다.
• 이상행동 점수는 여러 출처에서 계산된다: 재구성 오차(S_R), 공간 분류 신뢰도(S_x,y), 및 융합 점수(S_R,x,y).
• 추론 분석을 통해 디코더가 특징 표현 향상에 기여하므로, 디코더를 유지한다.

실험 결과

연구 질문

• RQ1 공간적 위치를 감독 신호로 통합함으로써 오토에인코더 특징의 이상행동 탐지에 대한 분별력이 향상되는가?
• RQ2 비지도 재구성과 감독 분류 손실을 조합하면 각각을 별도로 사용할 때보다 성능이 향상되는가?
• RQ3 다양한 이상행동 점수(재구성 및 분류 기반)의 융합이 최종 탐지 성능에 어떤 영향을 미치는가?
• RQ4 디코더는 모델의 이상행동 탐지 능력에 어떤 영향을 미치는가?
• RQ5 적대적 훈련은 카메라 진동이나 조명 변화가 있는 환경에서도 성능을 향상시키는가?

주요 결과

• 제안된 하이브리드 모델은 Avenue 데이터셋에서 AUC 82.8, Traffic-Train 데이터셋에서 AUC 84.3을 기록하여 네 가지 벤치마크 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였다.
• UCSD Ped2에서의 성능은 입력 해상도가 높아질수록 향상되었으며, 이는 저해상도 큐브가 특징의 풍부함과 탐지 능력을 제한함을 시사한다.
• 적대적 훈련은 대부분의 데이터셋에서 성능을 향상시켰지만, Traffic-Train에서는 성능 저하가 발생했으며, 이는 카메라 진동으로 인해 공간 텍스처 일관성이 깨지기 때문일 것이다.
• 디코더를 제거하면 UCSD Ped2에서 AUC가 76.8에서 73.6으로, Belleview에서 82.7에서 81.6으로 감소하여, 디코더가 특징 학습에 긍정적인 기여를 한다는 것을 확인하였다.
• 재구성 및 분류 점수의 융합(S_R,x,y)이 가장 우수한 성능을 보였으며, 다중 소스 이상행동 평가의 이점을 입증하였다.
• 분류 헤드는 오토에인코더가 공간적으로 분별 가능한 특징을 효과적으로 학습하도록 이끌었으며, 패치 위치를 클래스 레이블로 사용하는 새로운 접근 방식의 타당성을 검증하였다.