[论文解读] Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from Multi-Vendor X-ray Scans

Taimur Hassan, Salman H. Khan+3 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Neural Network Applications参考文献 39被引用 9

一句话总结

该论文提出了一种级联结构张量框架，通过单一前馈卷积神经网络，在多厂商X光扫描中实现了对严重遮挡和杂乱行李物品的鲁棒检测与识别。通过在多个方向上迭代提取基于轮廓的过渡特征，该方法在GDXray数据集上实现了0.9343的SOTA平均平均精度，在SIXray数据集上达到了0.9595，显著优于先前方法，同时将推理时间减少了15.78%。

ABSTRACT

In the last two decades, luggage scanning has globally become one of the prime aviation security concerns. Manual screening of the baggage items is a cumbersome, subjective and inefficient process. Hence, many researchers have developed Xray imagery-based autonomous systems to address these shortcomings. However, to the best of our knowledge, there is no framework, up to now, that can recognize heavily occluded and cluttered baggage items from multi-vendor X-ray scans. This paper presents a cascaded structure tensor framework which can automatically extract and recognize suspicious items irrespective of their position and orientation in the multi-vendor X-ray scans. The proposed framework is unique, as it intelligently extracts each object by iteratively picking contour based transitional information from different orientations and uses only a single feedforward convolutional neural network for the recognition. The proposed framework has been rigorously tested on publicly available GDXray and SIXray datasets containing a total of 1,067,381 X-ray scans where it significantly outperformed the state-of-the-art solutions by achieving the mean average precision score of 0.9343 and 0.9595 for extracting and recognizing suspicious items from GDXray and SIXray scans, respectively. Furthermore, the proposed framework has achieved 15.78% better time

研究动机与目标

• 为解决在多厂商X光扫描中识别严重遮挡和杂乱行李物品的挑战，该挑战仍是航空安全中的关键缺口。
• 开发一种统一框架，能够在不同X光扫描仪中，无论物品位置、方向或遮挡程度如何，均能识别可疑物品。
• 通过使用深度学习实现自动化、鲁棒且高效的检测，减少对人工筛查的依赖。
• 通过利用单一前馈CNN进行特征提取与识别，实现在极低计算开销下保持高性能。

提出的方法

• 该框架采用级联结构张量方法，从X光扫描中提取与方向相关的基于轮廓的过渡信息。
• 通过在多个方向上迭代分析图像特征，增强在遮挡和杂乱情况下的检测鲁棒性。
• 使用单一前馈卷积神经网络从增强的特征图中提取并分类可疑物品。
• 以级联方式应用结构张量，逐步优化目标边界，提升定位精度。
• 该方法在包含来自多个厂商超过100万张X光扫描的GDXray和SIXray数据集上进行训练与评估。
• 通过端到端训练优化特征学习，使网络能够泛化于不同扫描仪的输出特征。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在多个X光扫描仪厂商中鲁棒检测严重遮挡的行李物品？
• RQ2 级联结构张量方法在高遮挡和杂乱条件下对提升检测性能有多有效？
• RQ3 使用单一前馈CNN在保持高精度的同时，能在多大程度上减少推理时间？
• RQ4 在基准数据集上，该方法与SOTA方法相比，平均平均精度表现如何？

主要发现

• 该框架在GDXray数据集上实现了0.9343的平均平均精度（mAP），显著优于现有SOTA方法。
• 在SIXray数据集上，该方法实现了0.9595的mAP，表明其在不同X光扫描特性下具有卓越的泛化能力。
• 与先前解决方案相比，该框架将推理时间减少了15.78%，表明计算效率得到显著提升。
• 级联结构张量方法通过捕捉多方向轮廓过渡，有效增强了检测性能，尤其在遮挡区域表现突出。
• 使用单一前馈CNN同时完成特征提取与识别，显著提升了模型的效率与鲁棒性。