[論文レビュー] LF-YOLO: A Lighter and Faster YOLO for Weld Defect Detection of X-ray Image

Moyun Liu, Youping Chen+3 more|arXiv (Cornell University)|Oct 28, 2021

Welding Techniques and Residual Stresses参考文献 35被引用数 11

ひとこと要約

本稿では、X線画像における溶接欠陊検出を目的とした、軽量かつ高速なYOLOベースのモデル、LF-YOLOを提案する。本モデルは、パラメータフリーとパラメータありのマルチスケール特徴抽出を統合した新規な強化マルチスケール特徴（RMF）モジュールと、低計算量バックボーン学習を目的とした効率的特徴抽出（EFE）モジュールを採用している。モデルは61.5 FPS、4.0 GFLOPsで92.9%のmAP50を達成し、カスタムデータセットおよび公開データセットの両方で優れた性能と効率性を示している。

ABSTRACT

X-ray image plays an important role in manufacturing industry for quality assurance, because it can reflect the internal condition of weld region. However, the shape and scale of different defect types vary greatly, which makes it challenging for model to detect weld defects. In this paper, we propose a weld defect detection method based on convolution neural network, namely Lighter and Faster YOLO (LF-YOLO). In particularly, a reinforced multiscale feature (RMF) module is designed to implement both parameter-based and parameter-free multi-scale information extracting operation. RMF enables the extracted feature map capable to represent more plentiful information, which is achieved by superior hierarchical fusion structure. To improve the performance of detection network, we propose an efficient feature extraction (EFE) module. EFE processes input data with extremely low consumption, and improves the practicability of whole network in actual industry. Experimental results show that our weld defect detection network achieves satisfactory balance between performance and consumption, and reaches 92.9 mean average precision mAP50 with 61.5 frames per second (FPS). To further prove the ability of our method, we test it on public dataset MS COCO, and the results show that our LF-YOLO has a outstanding versatility detection performance. The code is available at https://github.com/lmomoy/LF-YOLO.

研究の動機と目的

• 深層学習を用いて、スケールが著しく変動し、コントラストが低いX線画像における溶接欠陊を検出する課題に対処すること。
• リアルタイム産業応用に適した、軽量かつ高速なオブジェクト検出モデルを設計すること。
• パラメータフリーとパラメータありの特徴統合戦略を組み合わせることで、マルチスケール特徴表現を向上させること。
• 計算コストを最小限に抑えながらも高い特徴表現能力を維持する効率的なバックボーンモジュールを開発すること。
• MS COCOなどの公開データセットを用いて、モデルの汎化能力を検証すること。

提案手法

• 複数スケールでのマックスプーリング（パラメータフリー）を最初に適用し、その後に学習可能な畳み込み層（パラメータあり）を用いて階層的特徴を抽出する、強化マルチスケール特徴（RMF）モジュールを提案する。
• YOLOベースの検出器にRMFモジュールを統合し、異なる欠陊スケールや形状に対応した特徴表現を強化する。
• FLOPsとパラメータ数の削減を目的とした、深度可分畳み込みとチャネル圧縮操作を用いた効率的特徴抽出（EFE）モジュールをバックボーンユニットとして設計する。
• RMF内で階層的な統合戦略を採用し、異なるレベルからのマルチスケール特徴を統合することで、検出のロバスト性を向上させる。
• カスタムX線溶接欠陊データセット上でモデルをエンドツーエンドに学習し、汎化性能のテストとしてMS COCO上で評価する。
• アブレーションスタディを用いて、RMFおよびEFEモジュールの各成分が独立および併用された場合に果たす寄与度を検証する。

Figure 1: Production process of X-ray weld image. The X-ray tube emits rays to metal, and the welding area and internal defects are revealed on the bottom film.

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーとパラメータありの操作を組み合わせたハイブリッドマルチスケール特徴抽出戦略が、小形および不規則な形状の溶接欠陊の検出精度を向上させ得るか？
• RQ2 EFEのような軽量バックボーンモジュールは、FLOPsとパラメータ数を削減しながらも、検出性能をどの程度維持できるか？
• RQ3 カスタムデータセットおよび公開データセットの両方において、提案されたLF-YOLOモデルは、既存のYOLOおよび2段階検出器と比較して、速度と精度の両面で優れているか？
• RQ4 RMFモジュールは、境界がぼやけた複雑な溶接欠陊パターンや、テクスチャの類似性が強い場合にも、局所的およびグローバルなコンテキストを効果的に捉え得るか？
• RQ5 微調整なしで、標準的なオブジェクト検出ベンチマーク（MS COCO）に十分な汎化性能を示せるか？

主な発見

• LF-YOLOは、カスタムX線溶接欠陊データセットで4.0 GFLOPs、7.3Mパラメータで92.9%のmAP50を達成し、優れたスピードと精度のトレードオフを実現した。
• モデルは61.5 FPSで実行可能であり、リアルタイム産業用点検システムに適している。
• アブレーションスタディの結果、RMFおよびEFEモジュールの両方が顕著な寄与を示しており、両方を組み合わせた完全なモデルでは90.7%のmAP50を達成した。
• MS COCOデータセットでは、LF-YOLO×1.25バージョンが50.3%のmAP50を達成し、SSDやYOLOv3を上回るスピード・エフェシェンシーを実現しながら、Faster R-CNNと同等の性能を示した。
• 特徴マップの可視化結果から、EFEモジュールが、コントラストが低い領域でさえも、微細なテクスチャおよび境界の詳細を効果的に捉えていることが示された。
• RMF内のSPPまたはGDConvコンponentを削除するとmAP50が低下し、パラメータフリーおよびパラメータありの段階の両方が必要不可欠であることが確認された。

Figure 2: Different weld defect samples. The first row is blow hole (red box), and second row is incomplete peneration (yellow box), while the third row is crack (blue box). The scale of weld defects vary greatly among different defect classes. Meantime, the defect is hard to be recognized due to th