[论文解读] Multi-Class 3D Object Detection Within Volumetric 3D Computed Tomography Baggage Security Screening Imagery

Qian Wang, Neelanjan Bhowmik+1 more|arXiv (Cornell University)|Aug 3, 2020

Advanced X-ray and CT Imaging参考文献 36被引用 4

一句话总结

本文提出了一种统一的3D RetinaNet框架，用于在体素CT行李筛查图像中进行多类别3D目标检测，通过数据增强和主干网络变体，在数据稀缺和杂乱相似性挑战下，实现了五个违禁物体类别（瓶子、手枪、双筒望远镜、格洛克枪 frame 和iPod）的平均平均精度（mAP）为65.3%。

ABSTRACT

Automatic detection of prohibited objects within passenger baggage is important for aviation security. X-ray Computed Tomography (CT) based 3D imaging is widely used in airports for aviation security screening whilst prior work on automatic prohibited item detection focus primarily on 2D X-ray imagery. These works have proven the possibility of extending deep convolutional neural networks (CNN) based automatic prohibited item detection from 2D X-ray imagery to volumetric 3D CT baggage security screening imagery. However, previous work on 3D object detection in baggage security screening imagery focused on the detection of one specific type of objects (e.g., either {\it bottles} or {\it handguns}). As a result, multiple models are needed if more than one type of prohibited item is required to be detected in practice. In this paper, we consider the detection of multiple object categories of interest using one unified framework. To this end, we formulate a more challenging multi-class 3D object detection problem within 3D CT imagery and propose a viable solution (3D RetinaNet) to tackle this problem. To enhance the performance of detection we investigate a variety of strategies including data augmentation and varying backbone networks. Experimentation carried out to provide both quantitative and qualitative evaluations of the proposed approach to multi-class 3D object detection within 3D CT baggage security screening imagery. Experimental results demonstrate the combination of the 3D RetinaNet and a series of favorable strategies can achieve a mean Average Precision (mAP) of 65.3\% over five object classes (i.e. {\it bottles, handguns, binoculars, glock frames, iPods}). The overall performance is affected by the poor performance on {\it glock frames} and {\it iPods} due to the lack of data and their resemblance with the baggage clutter.

研究动机与目标

• 解决在3D CT行李图像中同时检测多个违禁物体类别的挑战，超越单类别检测的局限。
• 开发一种统一的深度学习框架，以减少在实际航空安全筛查中对多个专用模型的依赖。
• 通过探索数据增强和主干网络变体，提升在体素3D CT数据中的检测性能。
• 研究输入分辨率缩放和锚框尺寸自适应对3D目标检测精度的影响。
• 评估双能（低/高）原始CT数据在提升违禁物品检测性能方面的作用。

提出的方法

• 采用3D RetinaNet作为主要目标检测框架，集成特征金字塔网络（FPN）以实现多尺度检测。
• 使用3D威胁图像投射（TIP）和数据增强（3D翻转、旋转）来合成训练数据，缓解数据稀疏性问题。
• 通过不同深度的3D ResNet主干网络进行实验，评估其对检测性能的影响。
• 通过将CT体积分辨率按3倍因子缩放来优化输入分辨率，平衡计算成本与特征表示能力。
• 在FPN各层级自适应调整锚框尺寸，以匹配真实边界框尺寸，提升定位精度。
• 评估将低能和高能原始CT数据作为输入通道，以评估材料对比度对检测的增益作用。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能有效检测3D CT行李图像中的多个违禁物体类别，而非为每种类别分别训练模型？
• RQ2 在数据量有限的场景下，3D翻转和旋转等数据增强技术如何影响3D目标检测器的泛化能力和鲁棒性？
• RQ3 在体素CT数据中，3D目标检测的最优输入分辨率缩放因子和锚框尺寸配置是什么？
• RQ4 将低能和高能原始CT数据结合是否能提升违禁物品的检测性能？
• RQ5 检测失败的主要原因是什么，特别是针对格洛克枪 frame 和iPod等物体，其与行李杂乱物的相似性及数据稀缺性如何影响检测？

主要发现

• 所提出的3D RetinaNet框架在真实体素3D CT行李图像的五个物体类别中实现了65.3%的平均平均精度（mAP）。
• 最佳检测性能出现在3倍输入体积分辨率缩放因子下，尽管进行了锚框尺寸自适应，但更高或更低的分辨率均导致性能下降。
• 通过3D翻转和旋转进行数据增强显著提升了检测的鲁棒性，尤其在数据稀疏的场景下表现突出。
• 由于训练数据不足且与行李杂乱物视觉相似，格洛克枪 frame 和iPod的检测性能明显偏低，导致误报率较高。
• 将低能和高能原始CT数据结合并未提升检测性能，表明仅使用任一能量源的数据已足够实现有效检测。
• 频繁观察到因合成3D TIP数据中的伪影被模型错误学习，导致相似物体（如双筒望远镜和iPod）之间出现误报和重叠预测。