[논문 리뷰] Anomaly Detection in Residential Video Surveillance on Edge Devices in IoT Framework

Mayur Rajaram Parate, Kishor M. Bhurchandi외 1명|arXiv (Cornell University)|2021. 07. 10.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 공간-시간 특징 인코딩과 두 가지 상보적인 지표를 사용한 궤적 연관을 통해 주거용 비디오 감시에서 실시간 이상 탐지에 적합한 경량이며 CPU 전용 엣지 컴퓨팅 프레임워크를 제안한다. 이는 저전력 엣지 장치에서 높은 정확도(UMN 데이터셋에서 AUC 최대 0.936)와 실시간 성능(지속적인 FPS)을 달성하며, 기존 방법들을 능가하면서도 개인정보 보호와 낮은 지연 시간을 보장한다.

ABSTRACT

Intelligent resident surveillance is one of the most essential smart community services. The increasing demand for security needs surveillance systems to be able to detect anomalies in surveillance scenes. Employing high-capacity computational devices for intelligent surveillance in residential societies is costly and not feasible. Therefore, we propose anomaly detection for intelligent surveillance using CPU-only edge devices. A modular framework to capture object-level inferences and tracking is developed. To cope with partial occlusions, posture deformations, and complex scenes, we employed feature encoding and trajectory association governed by two metrices complementing to each other. The elements of an anomaly detection framework are optimized to run on CPU-only edge devices with sufficient frames per second (FPS). The experimental results indicate the proposed method is feasible and achieves satisfactory results in real-life scenarios.

연구 동기 및 목표

• CPU 기반 엣지 장치만을 사용하여 비용 효율적이고 실시간 이상 탐지 시스템을 개발하기 위해.
• GPU 또는 하드웨어 가속기 없이 자원이 제한된 엣지 하드웨어에서 고복잡도 컴퓨터 비전 작업을 처리하는 데 도전하는 데 위해.
• 영상 분석을 엣지에서 현지에서 처리하여 실시간 성능, 낮은 네트워크 지연 시간, 데이터 프라이버시를 확보하기 위해.
• 높은 탐지 정확도를 유지하면서도 저전력 소비와 높은 프레임 레이트(FPS)를 달성하기 위해 시스템을 최적화하기 위해.
• 실제 구현을 위해 LoRa 기반 경고 전송을 통합한 IoT 프레임워크에 이상 탐지 시스템을 통합하기 위해.

제안 방법

• 시스템은 객체 검출, 특징 인코딩, 궤적 연관을 위한 모듈식 파이프라인을 사용하여 CPU 전용 엣지 장치에서 실시간 처리를 가능하게 한다.
• 공간-시간 특징은 경량 신경망(64x32, 128x64, 또는 256x128 특징 크기)을 사용하여 프레임 간 사람의 신원을 표현한다.
• 궤적 연관은 코사인 거리(max-cos-distance)와 비최대 억제(nms-overlap)라는 두 가지 상보적인 지표에 의해 제어되어 오진 탐지 수를 줄이고 가림을 처리한다.
• 이중 임계값 전략을 적용: 높은 max-cos-distance 임계값(0.9)은 신원 교환에 대한 강건성을 향상시키고, 낮은 nms-overlap(0.3)은 밀집된 군중에서 겹치는 검출을 억제한다.
• 전체 파이프라인은 CPU 실행을 최적화하였으며, 다양한 특징 인코더 크기와 임계값 설정에 대해 성능을 평가하였다.
• 이상은 궤적 패턴과 공간 역학의 이탈을 분석하여 탐지하며, 프라이버시 보호와 네트워크 부하 감소를 위해 LoRa를 통해 경고를 전송한다.

실험 결과

연구 질문

• RQ1 GPU 가속 없이 CPU 전용 엣지 장치에서 주거용 비디오 감시의 이상 탐지 작업을 효과적으로 수행할 수 있는가?
• RQ2 특징 인코더 크기, max-cos-distance, nms-overlap의 다양한 설정이 정확도와 처리 속도에 어떤 영향을 미치는가?
• RQ3 공간-시간 특징 인코딩과 이중 지표 궤적 연관이 부분적 가림과 자세 변형 상황에서도 얼마나 강건성을 향상시키는가?
• RQ4 실시간 엣지 기반 이상 탐지 시스템에서 정확도, 프레임 레이트, 전력 소비 간의 최적 균형은 무엇인가?
• RQ5 기존의 클라우드 기반 또는 GPU 가속 기반 방법과 비교해 본다면, 표준 데이터셋에서 AUC와 실시간 성능 측면에서 제안된 시스템은 어떤가?

주요 결과

• 제안된 시스템은 UCSD Ped-1 데이터셋에서 AUC 0.918, UMN 데이터셋에서 AUC 0.936를 달성하여 [6], [38], [4], [39]와 같은 기존 방법들을 능가한다.
• 64x32 특징 인코더 크기를 사용할 경우 처리 시간이 크게 감소하여 실시간 구현에 이상적인 근사 최적의 정확도(AUC ~0.93)를 확보한다.
• nms-overlap 임계값을 0.3으로 설정하면 군중에서 발생하는 오진 탐지가 효과적으로 억제되어 탐지 일관성이 향상된다.
• 높은 max-cos-distance 임계값(0.9)은 유사한 옷을 입은 사람들이 있는 장면에서 신원 교환을 줄여 궤적 일관성을 향상시킨다.
• 시스템은 CPU 전용 장치에서 지속적인 프레임 레이트를 유지하여 실시간 성능를 확보하였으며, 정확도와 효율성 간의 균형을 유지한다.
• 활성 냉각 없이도 부하 시 CPU 코어 온도가 68°C까지 상승하지만, 활성 냉각이 적용되면 안정적으로 59°C로 유지되어 장기 운용에 열적 타당성을 보여준다.