[论文解读] Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from X-ray Scans

Taimur Hassan, Samet Akçay+3 more|arXiv (Cornell University)|Apr 14, 2020

Advanced Neural Network Applications参考文献 43被引用 15

一句话总结

本文提出了一种级联结构张量（CST）框架，用于在X光行李扫描中鲁棒检测严重遮挡和杂乱的可疑物品。通过在多个方向上迭代提取基于轮廓的过渡特征，并使用单个前馈卷积神经网络（CNN）进行识别，该方法在GDXray数据集上实现了0.9343的mAP，在SIXray数据集上实现了0.9595的mAP，且推理速度比现有检测器快4.76%。

ABSTRACT

In the last two decades, baggage scanning has globally become one of the prime aviation security concerns. Manual screening of the baggage items is tedious, error-prone, and compromise privacy. Hence, many researchers have developed X-ray imagery-based autonomous systems to address these shortcomings. This paper presents a cascaded structure tensor framework that can automatically extract and recognize suspicious items in heavily occluded and cluttered baggage. The proposed framework is unique, as it intelligently extracts each object by iteratively picking contour-based transitional information from different orientations and uses only a single feed-forward convolutional neural network for the recognition. The proposed framework has been rigorously evaluated using a total of 1,067,381 X-ray scans from publicly available GDXray and SIXray datasets where it outperformed the state-of-the-art solutions by achieving the mean average precision score of 0.9343 on GDXray and 0.9595 on SIXray for recognizing the highly cluttered and overlapping suspicious items. Furthermore, the proposed framework computationally achieves 4.76\% superior run-time performance as compared to the existing solutions based on publicly available object detectors

研究动机与目标

• 为解决在X光行李扫描中检测严重遮挡和杂乱可疑物品的挑战，传统方法因纹理低且重叠复杂而失效。
• 开发一种计算高效的端到端系统，避免生成大量区域建议和回归网络。
• 通过在多个方向上利用基于结构张量的轮廓分析，提升在低纹理X光图像中检测的鲁棒性。
• 在存在类别不平衡和极端遮挡的情况下，仍实现优于现有方法的性能表现。
• 为航空安保提供一种可扩展且保护隐私的替代人工筛查的方案。

提出的方法

• 该框架使用级联结构张量（CST）在多个方向上迭代检测基于轮廓的强度变化过渡，增强在杂乱X光扫描中对物体边界的敏感性。
• 通过计算每个方向的结构张量响应，突出显示边缘和角点，从而在严重遮挡下仍能检测到合并或重叠的物品。
• 通过一种迭代的、基于轮廓的生成方式生成候选区域，逐步根据结构不连续性隔离物体区域。
• 使用单个预训练的卷积神经网络（CNN）对提取的候选区域执行端到端识别，无需区域建议网络或回归头。
• 该方法在公开数据集GDXray和SIXray上进行训练和评估，采用mAP、IoU和AUC等标准指标。
• 该框架在推理速度方面进行了优化，相比YOLOv3和Faster R-CNN等SOTA检测器，运行时间快4.76%。

实验结果

研究问题

• RQ1 基于轮廓的、结构张量驱动的方法是否能有效检测低纹理X光图像中重叠和遮挡的物体？
• RQ2 单个前馈CNN是否能在无区域建议网络或回归头的情况下实现更优的检测性能？
• RQ3 在遮挡行李扫描中，该级联结构张量框架与现有目标检测器相比，在准确率和推理速度方面表现如何？
• RQ4 该框架在多大程度上缓解了行李安检数据集中类别不平衡的影响？
• RQ5 该方法是否能泛化到具有极端遮挡和复杂杂乱的真实世界场景？

主要发现

• 所提出的CST框架在GDXray数据集上实现了0.9343的平均平均精度（mAP），显著优于现有SOTA方法。
• 在SIXray数据集上，该框架实现了0.9595的mAP，表明其在检测高度杂乱和重叠的可疑物品方面具有卓越鲁棒性。
• 在SIXray数据集上，系统实现了0.9689的平均交并比（IoU）得分，在GDXray数据集上为0.9644，表明边界框预测质量极高。
• 在SIXray数据集上，AUC达到0.9950，在GDXray数据集上为0.9878，表明其在正常与可疑物品之间具有极佳的判别能力。
• 由于无需区域建议和回归模块，系统推理时间比YOLOv3及其他领先检测器快4.76%。
• 失败案例较少，主要出现在极端遮挡或相似物体误分类（如手枪被误判为刀具）的情况下，但通常会以低置信度得分被标记，便于后续过滤。