[논문 리뷰] Security Camera Movie and ERP Data Matching System to Prevent Theft

Yoji Yamato, Yoshifumi Fukumoto외 1명|arXiv (Cornell University)|2017. 06. 12.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 일본의 소규모 소매점에 적합한 저비용 SaaS 기반 도난 방지 시스템을 제안한다. 이 시스템은 온라인 기계학습(Jubatus)을 활용한 실시간 보안 카메라 영상 분석과 ERP 재고 데이터 검증을 결합한다. 특징 추출 및 이상치 스코어링을 통해 비정상적인 고객 행동을 탐지하고, 실시간 재고 불일치를 ERP와 비교함으로써 오류 경고를 줄이고 탐지 정확도를 향상시킨다. k-폴드 검증을 통해 자세 기반 이상 탐지에서 72%의 정밀도 비율을 달성한다.

ABSTRACT

"(c) 2017 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works." In this paper, we propose a SaaS service which prevents shoplifting using image analysis and ERP. In Japan, total damage of shoplifting reaches 450 billion yen. Based on cloud and data analysis technology, we propose a shoplifting prevention service with image analysis of security camera and ERP data check for small shops. We evaluated movie analysis. Y. Yamato, Y. Fukumoto and H. Kumazaki, "Security Camera Movie and ERP Data Matching System to Prevent Theft," IEEE Consumer Communications and Networking Conference (CCNC 2017), pp.1021-1022, DOI: 10.1109/CCNC.2017.7983275, Jan. 2017.

연구 동기 및 목표

• 일본의 소규모 소매점에서 사용 가능한 기존 도난 탐지 시스템의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 연간 약 4500억 엔의 손해가 발생하는 것으로 추정되는 도난을 줄이기 위해 클라우드 및 데이터 분석을 활용한 저비용 자동 탐지 시스템을 제공하기 위해.
• 사전 정의된 행동 규칙을 초월해 기계학습과 ERP 재고 검증을 통합함으로써 탐지 정확도를 향상시키기 위해.
• 영상 분석과 실시간 재고 점검을 조합함으로써 오류 경고와 직원의 운영 부담을 최소화하기 위해.
• 저비용, 확장 가능한 SaaS 솔루션을 개발하여 소규모 소매 환경에서 저전력 장치(예: Raspberry Pi)에도 구현 가능한 시스템을 제공하기 위해.

제안 방법

• 현장에 소형 컴퓨터(예: Raspberry Pi)를 배치하여 실시간으로 보안 카메라 영상을 스트리밍하고 처리하기 위해.
• dlib와 OpenCV를 사용해 이미지에서 136개의 정규화된 얼굴 키포인트 특징(68개 좌표 × 2개 축)을 추출하여 자세 및 행동 분석을 수행하기 위해.
• 온라인 기계학습을 통해 선형 분류기와 k-최근접 이웃 분류기를 사용해 정적 규칙로 정의되지 않은 비정상적인 고객 행동을 탐지하기 위해.
• 탐지된 이상 현상과 영상 데이터를 클라우드 기반 도난 방지 애플리케이션으로 전송하여 상호 검증하기 위해.
• 카메라 영상에서 추정한 매장 재고와 실시간 ERP 재고 데이터(항목 데이터베이스)를 비교하여 불일치 여부를 검증함으로써 탐지된 사고를 확인하기 위해.
• ERP 재고 불일치가 도난 가능성이 높음을 시사할 경우, 유의미한 이미지와 함께 경고를 직원의 스마트폰 이메일로 전송하기 위해.

실험 결과

연구 질문

• RQ1 온라인 기계학습(Jubatus)을 통해 정의되지 않은 비정상적인 고객 행동을 소매 감시 영상에서 수용 가능한 정밀도로 효과적으로 탐지할 수 있는가?
• RQ2 영상 분석만으로 탐지하는 것과 비교해 ERP 재고 데이터와의 상호 검증이 도난 탐지 정확도에 얼마나 기여하는가?
• RQ3 에지 디바이스와 클라우드 간 협업을 활용한 저비용, SaaS 기반 시스템이 소규모 소매 환경에서 실제로 구현되고 유지보수 가능한가?
• RQ4 실생활 조건에서 얼굴 키포인트 특징을 활용한 자세 기반 이상 탐지 정밀도가 다양한 분류 모델(kNN 대비 선형 분류기 등) 간에 어떻게 비교되는가?
• RQ5 실시간 ERP 데이터 검증이 오류 경고 감소와 소매점 직원의 운영 부담 감소에 어떤 역할을 하는가?

주요 결과

• k=10인 k-폴드 교차 검증을 통해 자세 기반 이상 탐지에서 72%의 정밀도 비율을 달성하여 실시간 영상 분석에 있어 중간 정도이지만 실용적인 정확도를 입증했다.
• ERP 재고 데이터와 영상 분석의 통합은 실제 재고 수준과의 검증을 통해 이상 탐지의 신뢰성을 크게 향상시켰다.
• Jubatus를 통해 사전 정의되지 않은 위험 행동까지 탐지할 수 있었으며, 이는 Saburo-kun Ace와 같은 규칙 기반 시스템의 한계를 극복했다.
• 경량 에지 디바이스(예: Raspberry Pi)를 활용하고 클라우드 기반 모델 배포 및 설정 업데이트를 통해 확장 가능하고 유지보수 가능한 SaaS 배포가 가능했다.
• ERP 데이터 일관성 검증을 통해 영상 기반 탐지 결과를 걸러내어 오류 경고를 줄이고 불필요한 직원 간섭을 최소화했다.
• 시스템 아키텍처는 오버더에어(Over-the-Air) 설정 업데이트와 자동 회귀 테스트를 지원하여 생산 환경에서 장기적인 유지보수성과 신뢰성을 확보했다.