[论文解读] LF-YOLO: A Lighter and Faster YOLO for Weld Defect Detection of X-ray Image

Moyun Liu, Youping Chen+3 more|arXiv (Cornell University)|Oct 28, 2021

Welding Techniques and Residual Stresses参考文献 35被引用 11

一句话总结

本文提出LF-YOLO，一种轻量化且快速的基于YOLO的模型，用于X射线图像中的焊缝缺陷检测，采用一种新颖的强化多尺度特征（RMF）模块，结合无参和有参的多尺度特征提取方法，并引入高效特征提取（EFE）模块以实现低计算量主干网络学习。该方法在自定义数据集和公开数据集上均表现出色，mAP50达到92.9%，推理速度达61.5 FPS，计算量仅为4.0 GFLOPs。

ABSTRACT

X-ray image plays an important role in manufacturing industry for quality assurance, because it can reflect the internal condition of weld region. However, the shape and scale of different defect types vary greatly, which makes it challenging for model to detect weld defects. In this paper, we propose a weld defect detection method based on convolution neural network, namely Lighter and Faster YOLO (LF-YOLO). In particularly, a reinforced multiscale feature (RMF) module is designed to implement both parameter-based and parameter-free multi-scale information extracting operation. RMF enables the extracted feature map capable to represent more plentiful information, which is achieved by superior hierarchical fusion structure. To improve the performance of detection network, we propose an efficient feature extraction (EFE) module. EFE processes input data with extremely low consumption, and improves the practicability of whole network in actual industry. Experimental results show that our weld defect detection network achieves satisfactory balance between performance and consumption, and reaches 92.9 mean average precision mAP50 with 61.5 frames per second (FPS). To further prove the ability of our method, we test it on public dataset MS COCO, and the results show that our LF-YOLO has a outstanding versatility detection performance. The code is available at https://github.com/lmomoy/LF-YOLO.

研究动机与目标

• 为解决使用深度学习检测X射线图像中尺度高度可变且对比度低的焊缝缺陷的挑战。
• 设计一种轻量化且快速的目标检测模型，适用于实时工业应用。
• 通过结合无参与有参的特征融合策略，提升多尺度特征表示能力。
• 开发一种高效的主干模块，在最小计算成本下保持高特征表示能力。
• 在MS COCO等公开数据集上验证模型的泛化能力。

提出的方法

• 提出一种强化多尺度特征（RMF）模块，首先在多尺度上应用最大池化（无参），随后应用可学习卷积（有参）以提取分层特征。
• 将RMF模块集成到基于YOLO的检测器中，以增强在不同缺陷尺度和形状下的特征表示能力。
• 设计一种高效特征提取（EFE）模块作为主干单元，利用深度可分离卷积和通道挤压操作以降低FLOPs和参数量。
• 在RMF中采用分层融合策略，整合来自不同层级的多尺度特征，以提升检测鲁棒性。
• 在自定义X射线焊缝缺陷数据集上端到端训练模型，并在MS COCO上进行评估以测试泛化能力。
• 通过消融实验验证各组件（包括RMF与EFE）的独立与联合贡献。

Figure 1: Production process of X-ray weld image. The X-ray tube emits rays to metal, and the welding area and internal defects are revealed on the bottom film.

实验结果

研究问题

• RQ1 结合无参与有参操作的混合多尺度特征提取策略，能否提升对小尺寸及不规则形状焊缝缺陷的检测精度？
• RQ2 像EFE这样的轻量化主干模块，在降低FLOPs和参数量的同时，能在多大程度上保持检测性能？
• RQ3 在自定义数据集和公开数据集上，所提出的LF-YOLO模型与现有YOLO及两阶段检测器相比，在速度与精度方面表现如何？
• RQ4 RMF模块是否能有效捕捉复杂焊缝缺陷模式中边界模糊、纹理相似情况下的局部与全局上下文信息？
• RQ5 该模型在无需微调的情况下，能否在标准目标检测基准（如MS COCO）上实现良好泛化？

主要发现

• LF-YOLO在自定义X射线焊缝缺陷数据集上mAP50达到92.9%，仅需4.0 GFLOPs和7.3M参数，展现出优异的速度-精度权衡。
• 模型推理速度达61.5 FPS，适用于实时工业检测系统。
• 消融实验表明，RMF与EFE模块均具有显著贡献，完整模型在两者均启用时mAP50达到90.7%。
• 在MS COCO数据集上，LF-YOLO×1.25版本mAP50达到50.3%，在速度-效率方面优于SSD和YOLOv3，且与Faster R-CNN保持竞争力。
• 特征图可视化显示，EFE模块能有效捕捉细微纹理与边界细节，即使在低对比度区域亦然。
• 移除RMF中的SPP或GDConv组件均导致mAP50下降，证实无参与有参阶段的必要性。

Figure 2: Different weld defect samples. The first row is blow hole (red box), and second row is incomplete peneration (yellow box), while the third row is crack (blue box). The scale of weld defects vary greatly among different defect classes. Meantime, the defect is hard to be recognized due to th