[论文解读] Knife and Threat Detectors

David Noever, Sam E. Miller Noever|arXiv (Cornell University)|Apr 4, 2020

Forensic and Genetic Research参考文献 25被引用 4

一句话总结

本文提出了一种基于计算机视觉与深度学习的多方法框架，用于自动化刀具威胁检测，利用MobileNet实现高效分类（准确率95%，内存占用<2.2 MB），使用Mask R-CNN进行手部与刀具定位，利用PoseNet进行解剖学威胁推断。主要贡献在于构建了一套系统化、低资源的实时威胁检测流水线，适用于监控场景，通过精心筛选的负样本训练数据，显著降低误报与漏报。

ABSTRACT

Despite rapid advances in image-based machine learning, the threat identification of a knife wielding attacker has not garnered substantial academic attention. This relative research gap appears less understandable given the high knife assault rate (&gt;100,000 annually) and the increasing availability of public video surveillance to analyze and forensically document. We present three complementary methods for scoring automated threat identification using multiple knife image datasets, each with the goal of narrowing down possible assault intentions while minimizing misidentifying false positives and risky false negatives. To alert an observer to the knife-wielding threat, we test and deploy classification built around MobileNet in a sparse and pruned neural network with a small memory requirement (&lt; 2.2 megabytes) and 95% test accuracy. We secondly train a detection algorithm (MaskRCNN) to segment the hand from the knife in a single image and assign probable certainty to their relative location. This segmentation accomplishes both localization with bounding boxes but also relative positions to infer overhand threats. A final model built on the PoseNet architecture assigns anatomical waypoints or skeletal features to narrow the threat characteristics and reduce misunderstood intentions. We further identify and supplement existing data gaps that might blind a deployed knife threat detector such as collecting innocuous hand and fist images as important negative training sets. When automated on commodity hardware and software solutions one original research contribution is this systematic survey of timely and readily available image-based alerts to task and prioritize crime prevention countermeasures prior to a tragic outcome.

研究动机与目标

• 解决尽管每年袭击事件频发，但自动化刀具威胁检测在视频监控中仍研究不足的问题。
• 通过基于图像的机器学习方法，降低在识别可能携带刀具的人员时的误报与漏报。
• 开发一种轻量化、可部署的系统，适用于资源有限的通用硬件，且内存占用极低。
• 通过收集无害的手部与握拳图像作为负样本训练数据，识别并填补数据空白。

提出的方法

• 训练基于MobileNet的稀疏化与剪枝神经网络，实现快速、准确的刀具威胁分类，内存使用量低于2.2 MB。
• 采用Mask R-CNN模型对单张图像中的手部与刀具进行分割与定位，支持相对位置分析以评估威胁。
• 利用PoseNet检测解剖学关键点，通过骨骼特征分析推断威胁姿态与意图。
• 通过整合多个模型，结合分类、定位与姿态推理，提升威胁评分的准确性。
• 收集包括非威胁性姿势下的手部与握拳图像在内的负样本训练数据，以降低误报率。
• 该框架设计用于在通用硬件上通过现成软件进行部署，确保实际应用中的可行性。

实验结果

研究问题

• RQ1 如何在保持极低内存占用的前提下，使轻量化深度学习模型在刀具威胁检测中实现高准确率？
• RQ2 手部与刀具的空间定位在多大程度上有助于提升威胁评估的准确性？
• RQ3 基于骨骼特征的姿态估计能否增强对威胁意图的解读？
• RQ4 精心筛选的负样本（如手部、握拳图像）对降低误报率的影响如何？
• RQ5 相较于单一方法，多模型系统在整体威胁检测性能上的提升程度如何？

主要发现

• 基于MobileNet的分类器在测试中达到95%的准确率，模型大小低于2.2 MB，适用于低资源系统高效部署。
• Mask R-CNN模型成功实现了图像中刀具与手部的定位，支持相对位置分析，以推断上手威胁姿态。
• 基于PoseNet的骨骼特征检测有助于区分威胁性与非威胁性站姿，减少对意图的误判。
• 引入负样本训练数据（如手部与握拳图像）显著降低了误报检测率。
• 多模型框架通过结合分类、定位与姿态分析，显著提升了整体威胁检测性能。
• 该系统可通过标准软件栈在通用硬件上部署，支持实际场景中的实时监控集成。