[논문 리뷰] I-SAFE: Instant Suspicious Activity identiFication at the Edge using Fuzzy Decision Making

Seyed Yahya Nikouei, Yu Chen외 3명|arXiv (Cornell University)|2019. 09. 12.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

I-SAFE는 경계 장치에서 실시간으로 위험한 행동을 탐지하기 위해 흐린 결정 기법을 사용하는 실시간 엣지 기반의 의심 행동 탐지 시스템을 제안한다. 경계 장치에서 경량 딥러닝 특징과 도메인 전문가가 도출한 흐린 규칙를 융합함으로써, 낮은 지연 시간과 최소한의 네트워크 오버헤드로 0.002초 이내에 즉각적인 경고를 제공하며, 속도와 확장성 면에서 최신 기술보다 뛰어나다.

ABSTRACT

Urban imagery usually serves as forensic analysis and by design is available for incident mitigation. As more imagery collected, it is harder to narrow down to certain frames among thousands of video clips to a specific incident. A real-time, proactive surveillance system is desirable, which could instantly detect dubious personnel, identify suspicious activities, or raise momentous alerts. The recent proliferation of the edge computing paradigm allows more data-intensive tasks to be accomplished by smart edge devices with lightweight but powerful algorithms. This paper presents a forensic surveillance strategy by introducing an Instant Suspicious Activity identiFication at the Edge (I-SAFE) using fuzzy decision making. A fuzzy control system is proposed to mimic the decision-making process of a security officer. Decisions are made based on video features extracted by a lightweight Deep Machine Learning (DML) model. Based on the requirements from the first-line law enforcement officers, several features are selected and fuzzified to cope with the state of uncertainty that exists in the officers' decision-making process. Using features in the edge hierarchy minimizes the communication delay such that instant alerting is achieved. Additionally, leveraging the Microservices architecture, the I-SAFE scheme possesses good scalability given the increasing complexities at the network edge. Implemented as an edge-based application and tested using exemplary and various labeled dataset surveillance videos, the I-SAFE scheme raises alerts by identifying the suspicious activity in an average of 0.002 seconds. Compared to four other state-of-the-art methods over two other data sets, the experimental study verified the superiority of the I-SAFE decentralized method.

연구 동기 및 목표

• 기존의 사후 분석 방식이 너무 느려 실시간으로 의심 행동을 탐지하기 어려운 도시 감시 영상 스트림에서 의심 행동 탐지의 과제를 해결한다.
• 분산 처리를 통해 결정보다 엣지로 의사결정을 이동시켜 영상 감시에서의 통신 오버헤드와 지연 시간을 줄인다.
• 현장 경찰관들의 전문 지식을 반영한 흐린 논리 의사결정 엔진을 통해 인간 경비원의 판단 방식을 모방하는 시스템을 개발한다.
• 마이크로서비스 아키텍처와 엣지 컴퓨팅을 활용해 실시간 특징 추출 및 이질성 점수 평가를 통해 확장성 있고 저비용의 감시를 실현한다.
• 문제적 환경에서의 노이즈에 강한 흐린 모델링을 통해 복잡하고 동적인 환경에서도 정확도를 높이고 거짓 경고를 최소화한다.

제안 방법

• 영상 스트림에서 실시간으로 인간 탐지 및 특징 추출을 위해 엣지 장치에 경량 딥머신러닝(DML) 모델을 구현한다.
• 행동의 맥락을 파악하기 위해 영상 프레임에서 일곱 가지 시공간 특징(예: 위치, 시간대, 이동 패턴, 머무름 지속 시간 등)을 추출한다.
• 인간 판단의 불확실성을 반영하기 위해 다섯 개의 소속 함수를 사용해 추출된 특징을 흐리게 처리한다.
• 캠퍼스 경찰관들이 도출한 전문가 정의 규칙을 기반으로 한 흐린 제어 시스템을 구현하여 개인별로 의심 수준을 평가한다.
• 확장성과 변화하는 엣지 네트워크 복잡성에 대응하기 위해 마이크로서비스 아키텍처를 도입해 시스템을 모듈화한다.
• 거짓 긍정률을 균형 있게 유지하기 위해 60%의 의심 수준 임계값을 기반으로 한 알림 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 분산형 엣지 기반 시스템은 최소한의 지연 시간과 통신 오버헤드로 실시간으로 의심 행동을 탐지할 수 있는가?
• RQ2 순수하게 데이터 기반 모델과 비교했을 때, 흐린 논리 시스템은 인간과 유사한 의사결정을 의심 행동 탐지에 얼마나 효과적으로 모델링하는가?
• RQ3 법률 집행 기관 등의 도메인 전문 지식이 행동 인식에서 탐지 정확도를 향상시키고 거짓 경고를 줄이는 데 얼마나 기여하는가?
• RQ4 I-SAFE 시스템은 속도, 정확도, 자원 효율성 측면에서 최신 기술과 비교해 어떻게 성능을 발휘하는가?
• RQ5 차단, 저해상도, 또는 높은 인파 밀도와 같은 도전적인 조건에서도 시스템은 성능을 유지할 수 있는가?

주요 결과

• I-SAFE 시스템은 프레임당 평균 탐지 지연 시간이 0.002초로 실시간으로 즉각적인 경고를 제공한다.
• 시스템은 낮은 거짓 긍정률을 유지하며, 몰 데이터셋에서는 60%의 의심 수준 임계값으로 4건의 거짓 긍정이 발생했고, 지하철 데이터셋에서는 1건이었다.
• 네 가지 최신 기술과 비교했을 때, I-SAFE는 뛰어난 속도와 확장성 성능를 보이며 경쟁 수준의 탐지 정확도를 유지한다.
• 흐린 논리 모델은 인간 행동의 불확실성을 효과적으로 포착하여, 복잡하고 동적인 감시 환경에서의 강건성을 향상시킨다.
• 특징 추출과 의사결정을 분리함으로써, 향후 더 정확한 영상 처리 기법과도 동일한 흐린 모델을 재사용할 수 있다.
• 저해상도 또는 가림 상황에서도 시스템은 우수한 성능를 보이지만, 거리가 멀어지면서 픽셀 밀도가 부족해지면서 탐지 성능이 저하된다.