[论文解读] CCTV-Gun: Benchmarking Handgun Detection in CCTV Images

Srikar Yellapragada, Zhenghong Li+7 more|arXiv (Cornell University)|Mar 19, 2023

Advanced Optical Sensing Technologies被引用 4

一句话总结

本文提出了CCTV-Gun，一个用于真实世界CCTV图像中手枪检测的基准数据集，涵盖三个数据集（MGD、USRT、UCF）中对手枪及其持有者的详细标注。该研究提出了一种跨数据集评估协议，并对最先进检测器进行了评估，结果表明：在UFC等低分辨率、遮挡严重的挑战性数据集上，经过COCO预训练后微调的模型表现优于领域特定预训练的模型。

ABSTRACT

Gun violence is a critical security problem, and it is imperative for the computer vision community to develop effective gun detection algorithms for real-world scenarios, particularly in Closed Circuit Television (CCTV) surveillance data. Despite significant progress in visual object detection, detecting guns in real-world CCTV images remains a challenging and under-explored task. Firearms, especially handguns, are typically very small in size, non-salient in appearance, and often severely occluded or indistinguishable from other small objects. Additionally, the lack of principled benchmarks and difficulty collecting relevant datasets further hinder algorithmic development. In this paper, we present a meticulously crafted and annotated benchmark, called extbf{CCTV-Gun}, which addresses the challenges of detecting handguns in real-world CCTV images. Our contribution is three-fold. Firstly, we carefully select and analyze real-world CCTV images from three datasets, manually annotate handguns and their holders, and assign each image with relevant challenge factors such as blur and occlusion. Secondly, we propose a new cross-dataset evaluation protocol in addition to the standard intra-dataset protocol, which is vital for gun detection in practical settings. Finally, we comprehensively evaluate both classical and state-of-the-art object detection algorithms, providing an in-depth analysis of their generalizing abilities. The benchmark will facilitate further research and development on this topic and ultimately enhance security. Code, annotations, and trained models are available at https://github.com/srikarym/CCTV-Gun.

研究动机与目标

• 解决真实世界CCTV图像中手枪检测缺乏系统性基准的问题，其中枪支尺寸小、存在遮挡且分辨率低。
• 构建一个全面的基准数据集，涵盖三个真实世界数据集中的细粒度标注，包括手枪、持有者以及挑战因素（如模糊、遮挡等）。
• 提出一种新颖的跨数据集评估协议，以评估模型在标准数据集内测试之外的泛化能力。
• 在基准数据集上评估经典与最先进目标检测器，分析其在真实世界挑战下的鲁棒性与性能表现。
• 提供代码、标注与训练模型，以支持研究可复现性，并加速公共安全领域枪支检测的研究进展。

提出的方法

• 从三个数据集（MGD：模拟场景；USRT：实时枪支检测；UCF：含犯罪场景的动作识别）中整理并分析真实世界CCTV图像。
• 人工标注了人员、手枪以及手枪持有者配对的边界框，并额外标注了遮挡、模糊、相似物体等挑战因素。
• 设计了双评估协议：数据集内（标准训练/验证/测试划分）与跨数据集（在两个数据集上训练，在第三个上测试），以评估泛化能力。
• 对在COCO上预训练以及在枪支特定数据集（MGD+USRT）上预训练的模型进行微调，以评估领域特定预训练是否能提升在未见数据集上的性能。
• 在标准与跨数据集设置下，评估了多种最先进目标检测器（如YOLOv5、RetinaNet、Swin-T、ConvNeXt-T）。
• 对测试集标注了三种挑战属性（遮挡、模糊、相似物体），以分析模型在特定视觉退化条件下的鲁棒性。

实验结果

研究问题

• RQ1 最先进目标检测器在真实世界CCTV图像中，面对小尺寸、遮挡严重且分辨率低的手枪时，表现如何？
• RQ2 与标准数据集内评估相比，跨数据集评估是否揭示了模型泛化能力的显著差异？
• RQ3 在MGD+USRT上进行枪支特定预训练的模型，是否能在如UCF这类多样化、真实世界数据集上超越COCO预训练模型？
• RQ4 遮挡、模糊与相似物体等特定挑战因素如何影响不同模型的检测性能？
• RQ5 哪种模型架构在真实世界视觉退化与小目标条件下展现出最强的鲁棒性？

主要发现

• 在跨数据集评估中，于MGD+USRT上训练的模型在UCF上表现较差，表明其在低分辨率、真实犯罪场景图像上的泛化能力有限。
• 在USRT+UCF上训练的模型在MGD上表现优异，表明清晰、高分辨率图像有助于更好地迁移至更简单的检测任务。
• 在UCF上，COCO预训练模型经微调后的性能优于领域特定预训练模型，尤其在目标数据集存在高遮挡与低分辨率时更为明显。
• ConvNeXt-T在六类挑战中的四类（遮挡、模糊、相似物体）中均取得最高平均精度，展现出卓越的鲁棒性。
• 性能差距在UCF上最为显著，低分辨率与严重遮挡显著降低了检测准确率。
• 针对特定挑战的评估表明，具有高数据集内平均精度的模型，在遮挡、模糊与相似物体条件下始终表现出更强的鲁棒性。