[论文解读] Deep CMST Framework for the Autonomous Recognition of Heavily Occluded and Cluttered Baggage Items from Multivendor Security Radiographs.

Taimur Hassan, Salman H. Khan+3 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Neural Network Applications被引用 14

一句话总结

该论文提出了一种新颖的深度CMST框架，通过级联结构张量方法，自主检测并识别多厂商X光扫描中严重遮挡和杂乱的行李物品。通过在不同方向上迭代提取基于轮廓的过渡特征，并采用单一前馈卷积神经网络，该方法在GDXray数据集上实现了0.9343的平均平均精度，在SIXray数据集上实现了0.9595的平均平均精度，推理速度提升了15.78%。

ABSTRACT

In the last two decades, luggage scanning has globally become one of the prime aviation security concerns. Manual screening of the baggage items is a cumbersome, subjective and inefficient process. Hence, many researchers have developed Xray imagery-based autonomous systems to address these shortcomings. However, to the best of our knowledge, there is no framework, up to now, that can recognize heavily occluded and cluttered baggage items from multi-vendor X-ray scans. This paper presents a cascaded structure tensor framework which can automatically extract and recognize suspicious items irrespective of their position and orientation in the multi-vendor X-ray scans. The proposed framework is unique, as it intelligently extracts each object by iteratively picking contour based transitional information from different orientations and uses only a single feedforward convolutional neural network for the recognition. The proposed framework has been rigorously tested on publicly available GDXray and SIXray datasets containing a total of 1,067,381 X-ray scans where it significantly outperformed the state-of-the-art solutions by achieving the mean average precision score of 0.9343 and 0.9595 for extracting and recognizing suspicious items from GDXray and SIXray scans, respectively. Furthermore, the proposed framework has achieved 15.78% better time

研究动机与目标

• 为解决航空安保中人工筛查大型、遮挡严重且杂乱的行李物品这一关键挑战。
• 开发一种稳健的、与厂商无关的系统，无论物品在X光图像中的方向或位置如何，均能识别可疑物品。
• 通过实现完全自主、实时检测，减少对人工检查的依赖，以应对复杂放射影像环境。
• 在基准数据集上，性能超越现有最先进方法，在准确率和推理速度方面均表现更优。

提出的方法

• 该框架采用级联结构张量机制，从X光扫描图像中提取多方向的基于轮廓的过渡特征。
• 通过在不同方向上迭代分析图像结构，增强对遮挡和杂乱物体的特征表示能力。
• 采用单一前馈卷积神经网络实现端到端识别，最大限度降低模型复杂度和推理时间。
• 利用空间梯度信息识别噪声大、杂乱场景中的物体边界和结构过渡。
• 在多样化的多厂商X光数据集上进行训练和评估，以确保在不同成像系统间的泛化能力。
• 架构针对实时部署进行了优化，在先前方法的基础上显著提升了速度。

实验结果

研究问题

• RQ1 单一统一的框架是否能有效检测并识别来自多个X光扫描仪厂商的严重遮挡和杂乱行李物品？
• RQ2 与传统方法相比，级联结构张量方法在复杂重叠行李场景中如何提升特征提取能力？
• RQ3 使用单一前馈卷积神经网络在降低计算开销的同时，能在多大程度上保持高准确率？
• RQ4 在公开基准测试中，该框架与现有最先进解决方案相比，在性能和速度方面表现如何？
• RQ5 该框架是否能在无需微调的情况下，泛化到多样化的成像条件和扫描仪类型？

主要发现

• Deep CMST框架在GDXray数据集上实现了0.9343的平均平均精度（mAP），显著优于先前最先进方法。
• 在SIXray数据集上，该框架实现了0.9595的mAP，表明其在复杂杂乱场景中具有卓越的识别准确率。
• 与现有解决方案相比，该框架将推理时间减少了15.78%，实现了更快的实时筛查。
• 级联结构张量方法有效增强了从多方向遮挡和重叠物体中提取特征的能力。
• 采用单一前馈卷积神经网络在降低模型复杂度的同时，实现了高准确率和更快的推理速度。
• 该框架在多厂商X光扫描中表现出强大的泛化能力，证实其在真实航空安保环境中的鲁棒性和实际可部署性。