[논문 리뷰] Knife and Threat Detectors

David Noever, Sam E. Miller Noever|arXiv (Cornell University)|2020. 04. 04.

Forensic and Genetic Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 컴퓨터 시각과 딥러닝을 활용한 자동 칼 위협 탐지에 대한 다중 방법 프레임워크를 제안한다. MobileNet을 사용해 효율적인 분류(95% 정확도, <2.2 MB 메모리 사용), Mask R-CNN을 통해 손과 칼의 국소화를 수행하고, PoseNet을 활용해 해부학적 위협 추론을 수행한다. 주요 기여는 실시간 감시 환경에서 낮은 자원 소비로도 체계적인 위협 탐지 파이프라인을 제공함으로써 잘못된 경고(거짓 경고 및 거짓 부정)를 최소화하고, 정제된 부정 예측 데이터를 활용한 것이다.

ABSTRACT

Despite rapid advances in image-based machine learning, the threat identification of a knife wielding attacker has not garnered substantial academic attention. This relative research gap appears less understandable given the high knife assault rate (&gt;100,000 annually) and the increasing availability of public video surveillance to analyze and forensically document. We present three complementary methods for scoring automated threat identification using multiple knife image datasets, each with the goal of narrowing down possible assault intentions while minimizing misidentifying false positives and risky false negatives. To alert an observer to the knife-wielding threat, we test and deploy classification built around MobileNet in a sparse and pruned neural network with a small memory requirement (&lt; 2.2 megabytes) and 95% test accuracy. We secondly train a detection algorithm (MaskRCNN) to segment the hand from the knife in a single image and assign probable certainty to their relative location. This segmentation accomplishes both localization with bounding boxes but also relative positions to infer overhand threats. A final model built on the PoseNet architecture assigns anatomical waypoints or skeletal features to narrow the threat characteristics and reduce misunderstood intentions. We further identify and supplement existing data gaps that might blind a deployed knife threat detector such as collecting innocuous hand and fist images as important negative training sets. When automated on commodity hardware and software solutions one original research contribution is this systematic survey of timely and readily available image-based alerts to task and prioritize crime prevention countermeasures prior to a tragic outcome.

연구 동기 및 목표

• 매년 높은 폭력 사건 발생률가 있음에도 불구하고, 아직 연구가 부족한 영상 감시 환경에서의 자동 칼 위협 탐지 문제를 해결하기 위해.
• 이미지 기반 기계 학습을 통해 위험한 칼을 지닌 개인을 식별할 때 발생하는 거짓 경고 및 거짓 부정을 줄이기 위해.
• 낮은 메모리 사용량을 갖춘 경량이며 구현 가능한 시스템을 개발하여 일반 하드웨어에 적합하게 만들기 위해.
• 데이터 격차를 보완하기 위해 위협적이지 않은 자세로 손과 주먹의 이미지를 수집해 부정 학습 예제로 활용하기 위해.

제안 방법

• 2.2 MB 이하의 메모리 사용량을 확보하면서도 고속이고 정확한 칼 위협 분류를 위한 MobileNet 기반의 희소화 및 잘라낸 신경망을 학습시켰다.
• Mask R-CNN 모델을 활용해 단일 이미지에서 손과 칼을 동시에 세그먼테이션하고 국소화함으로써 상대적 위치 분석을 통해 위협 평가를 수행한다.
• PoseNet을 사용해 해부학적 움직임 지점(웨이포인트)을 감지하고, 뼈대 특징 분석을 통해 위협적인 자세와 의도를 추론한다.
• 분류, 국소화, 자세 기반 추론을 통합해 위협 점수를 향상시키기 위해 다중 모델을 통합한다.
• 거짓 경고를 줄이기 위해 위협적이지 않은 자세로 손과 주먹의 이미지를 포함한 부정 학습 데이터를 수집했다.
• 표준 소프트웨어 스택을 사용해 일반 하드웨어에 쉽게 배포할 수 있도록 설계되어 실생활 적용에 실용적이다.

실험 결과

연구 질문

• RQ1 어떻게 경량 딥러닝 모델이 낮은 메모리 사용량을 유지하면서도 높은 정확도로 칼 위협 탐지 성능을 달성할 수 있는가?
• RQ2 손과 칼의 공간적 국소화는 위협 평가 정확도 향상에 어떤 역할을 하는가?
• RQ3 뼈대 특징에서 유도된 자세 추정은 위협적인 의도를 해석하는 데 어떻게 기여하는가?
• RQ4 정제된 부정 예제(예: 손, 주먹)의 포함 여부가 위협 탐지에서 거짓 경고 비율에 어떤 영향을 미치는가?
• RQ5 단일 방법 대비 다중 모델 시스템은 종합적인 위협 탐지 성능 향상에 얼마나 기여하는가?

주요 결과

• MobileNet 기반 분류기는 2.2 메가바이트 이하의 모델 크기로 테스트 정확도 95%를 달성하여 저자원 시스템에 효율적으로 배포할 수 있었다.
• Mask R-CNN 모델은 이미지에서 칼과 손을 성공적으로 국소화하여 상대적 위치 분석을 통해 손 위 칼 자세(overhand threat posture)를 추론하는 데 기여했다.
• PoseNet 기반 뼈대 특징 감지 기능은 위협적인 자세와 비위협적인 자세를 구분하는 데 기여하여 의도 오해를 줄였다.
• 손과 주먹의 이미지를 포함한 부정 학습 데이터의 포함으로 거짓 경고 탐지율이 크게 감소했다.
• 다중 모델 프레임워크는 분류, 국소화, 자세 분석을 통합함으로써 위협 탐지 성능 향상을 입증했다.
• 표준 소프트웨어 스택을 사용해 일반 하드웨어에 배포 가능하여 실시간 감시 통합에 실용적인 적용이 가능했다.