[논문 리뷰] EIQIS: Toward an Event-Oriented Indexable and Queryable Intelligent Surveillance System

Seyed Yahya Nikouei, Yu Chen외 2명|arXiv (Cornell University)|2018. 07. 30.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 8

한 줄 요약

이 논문은 이벤트 중심의, 색인 가능하고 질의 가능한 지능형 감시 시스템인 EIQIS를 제안한다. 이 시스템은 엣지- nie-클라우드 아키텍처를 활용하여 실시간으로 영상 특징을 추출하고 색인화함으로써 즉각적인 이벤트 검색을 가능하게 한다. 경량 머신러닝 모델을 사용해 현장에서 영상 프레임을 처리하고, 페그 레이어에 구조화된 색인을 저장함으로써 EIQIS는 저지연, 확장 가능한 감시 데이터 질의를 실현한다. 이는 실시간 특징 추출, 보안 블록체인 기반 데이터 전송, 그리고 인파 밀도나 객체 수와 같은 이벤트 기준에 따른 효율적 검색을 지원하는 기능을 갖춘 작동하는 프로토타입을 통해 입증되었다.

ABSTRACT

Edge computing provides the ability to link distributor users for multimedia content, while retaining the power of significant data storage and access at a centralized computer. Two requirements of significance include: what information show be processed at the edge and how the content should be stored. Answers to these questions require a combination of query-based search, access, and response as well as indexed-based processing, storage, and distribution. A measure of intelligence is not what is known, but is recalled, hence, future edge intelligence must provide recalled information for dynamic response. In this paper, a novel event-oriented indexable and queryable intelligent surveillance (EIQIS) system is introduced leveraging the on-site edge devices to collect the information sensed in format of frames and extracts useful features to enhance situation awareness. The design principles are discussed and a preliminary proof-of-concept prototype is built that validated the feasibility of the proposed idea.

연구 동기 및 목표

• 기존의 원시 영상 스트리밍과 배치 처리에 의존하는 전통적 영상 감시 시스템이 겪는 확장성 및 지연 문제를 해결하기 위해.
• 네트워크 엣지에서 직접 색인 가능한 특징을 생성함으로써 실시간, 상호작용 가능한 감시 영상 질의를 가능하게 하기 위해.
• 비상 상황에 대한 동적이고 인간이 개입하는 대응을 지원하는 이벤트 중심 색인화를 통해 상황 인식 능력을 향상시키기 위해.
• 안정적이고 저지연된 데이터 처리를 위한 계층적 엣지-페그-클라우드 아키텍처의 타당성을 검증하기 위해.
• 현장에서의 특징 추출 및 색인화가 고장 분석 및 실시간 분석에 있어 네트워크 부하를 크게 감소시키고 반응 시간을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 시스템은 세 단계의 엣지-페그-클라우드 아키텍처를 사용한다: 엣지 장치가 실시간으로 영상 프레임에서 저수준 시각적 특징(예: 객체 검출, 경계 상자)을 추출한다.
• 특징들은 암호화된 채널을 통해 안전하게 페그 노드로 전송되며, 여기서는 추출된 특징의 중심화된 색인 가능한 키-값 저장소를 유지한다.
• 개인용 이더리움 블록체인 네트워크가 엣지에서 페그로의 전송 중 데이터 무결성을 보장하고 위변조를 방지한다.
• 각 특징 추출 작업은 마이크로서비스로 추상화되어 다양한 질의 유형을 위한 모듈식이고 확장 가능한 색인화를 가능하게 한다.
• 페그 레이어는 '밤에 프레임 내 10명 이상의 사람이 있는' 등의 사전 정의된 이벤트 매개변수를 사용해 실시간 질의를 지원한다.
• 프로토타입은 TinkerBoard 엣지 장치와 랩탑 기반의 페그 노드를 사용하며, 보안한 노드 간 통신을 위해 파이썬 기반 소켓 프로그래밍을 구현한다.

실험 결과

연구 질문

• RQ1 엣지에서 실시간으로 현장에서 특징을 추출하는 것이 지능형 감시를 위한 확장 가능하고 저지연 영상 색인화를 가능하게 할 수 있는가?
• RQ2 계층적 엣지-페그-클라우드 아키텍처는 어떻게 감시 영상 스트림에 대한 즉각적인, 이벤트 기반 질의를 지원하는가?
• RQ3 보안 블록체인 보호된 데이터 전송은 얼마나 감시 데이터 파이프라인의 무결성을 보장할 수 있는가?
• RQ4 마이크로서비스 기반의 특징 추출은 영상 색인화 시스템의 확장성과 적응성 향상에 기여할 수 있는가?
• RQ5 고장 분석 및 운영 영상 분석에 있어 배치 처리를 실시간 색인화로 대체하는 데의 타당성은 어떠한가?

주요 결과

• 프로토타입은 TinkerBoard 엣지 장치에서 실시간 특징 추출(객체 검출 및 경계 상자 추적)을 성공적으로 구현하였다.
• 페그 노드는 키-값 형식으로 특징을 저장하고 색인화하여 특정 기준을 충족하는 영상 이벤트를 빠르게 질의 기반으로 검색할 수 있도록 하였다.
• 개인용 이더리움 블록체인 네트워크는 네 명의 마이너가 블록을 동기화함으로써 데이터의 무결성을 보장하였으며, 모든 노드가 최신 상태의 복제본을 유지하였다.
• 시스템은 원시 영상 스트리밍에 대한 의존도를 줄여 네트워크 혼잡도와 스토리지 오버헤드를 감소시켰다.
• 예를 들어 특정 시간에 인파가 많은 군중을 검색하는 질의는 사전 색인화된 특징을 사용해 효율적으로 수행되었으며, 전체 영상 검토에 비해 현저히 뛰어난 성능을 보였다.
• 특징 추출을 위한 마이크로서비스 통합은 핵심 시스템을 재설계하지 않고도 색인 기능의 모듈식 확장을 가능하게 하였다.