[논문 리뷰] LF-YOLO: A Lighter and Faster YOLO for Weld Defect Detection of X-ray Image

Moyun Liu, Youping Chen외 3명|arXiv (Cornell University)|2021. 10. 28.

Welding Techniques and Residual Stresses참고 문헌 35인용 수 11

한 줄 요약

이 논문은 X선 영상에서 용접 결함 검출을 위한 경량적이고 빠른 YOLO 기반 모델인 LF-YOLO를 제안한다. 새로운 강화 다중스케일 특징(RMF) 모듈을 통해 파라미터가 없는 다중스케일 특징 추출과 파라미터 기반 특징 추출을 결합하고, 저연산량 백본 학습을 위한 효율적 특징 추출(EFE) 모듈을 도입한다. 모델는 61.5 FPS, 4.0 GFLOPs에서 92.9% mAP50 성능을 달성하여 자체 구축 및 공개 데이터셋 모두에서 뛰어난 성능과 효율성을 입증한다.

ABSTRACT

X-ray image plays an important role in manufacturing industry for quality assurance, because it can reflect the internal condition of weld region. However, the shape and scale of different defect types vary greatly, which makes it challenging for model to detect weld defects. In this paper, we propose a weld defect detection method based on convolution neural network, namely Lighter and Faster YOLO (LF-YOLO). In particularly, a reinforced multiscale feature (RMF) module is designed to implement both parameter-based and parameter-free multi-scale information extracting operation. RMF enables the extracted feature map capable to represent more plentiful information, which is achieved by superior hierarchical fusion structure. To improve the performance of detection network, we propose an efficient feature extraction (EFE) module. EFE processes input data with extremely low consumption, and improves the practicability of whole network in actual industry. Experimental results show that our weld defect detection network achieves satisfactory balance between performance and consumption, and reaches 92.9 mean average precision mAP50 with 61.5 frames per second (FPS). To further prove the ability of our method, we test it on public dataset MS COCO, and the results show that our LF-YOLO has a outstanding versatility detection performance. The code is available at https://github.com/lmomoy/LF-YOLO.

연구 동기 및 목표

• 딥 러닝을 활용해 스케일 변동성이 높고 대trast가 낮은 X선 영상 내 용접 결함을 탐지하는 과제를 해결하기 위해.
• 실시간 산업 응용에 적합한 경량적이고 빠른 객체 검출 모델을 설계하기 위해.
• 파라미터가 없는 다중스케일 특징 추출과 파라미터 기반 융합 전략을 조합하여 다중스케일 특징 표현을 향상시키기 위해.
• 최소한의 계산 비용으로 높은 특징 표현 능력을 유지하는 효율적 백본 모듈을 개발하기 위해.
• MS COCO와 같은 공개 데이터셋에서 모델의 일반화 능력을 검증하기 위해.

제안 방법

• 다중 스케일에서 최대 풀링을 적용한 후 학습 가능한 컨볼루션을 적용하여 계층적 특징을 추출하는 강화 다중스케일 특징(RMF) 모듈을 제안한다. 이는 파라미터가 없는 방식과 파라미터 기반 방식을 조합한다.
• RMF 모듈을 YOLO 기반 검출기와 통합하여 다양한 결함 스케일과 형태에서 특징 표현 능력을 향상시킨다.
• 깊이 분리형 컨볼루션과 채널 압축 연산을 사용하여 FLOPs와 파라미터를 줄이는 EFE 모듈을 백본 단위로 설계한다.
• RMF 내에서 계층적 융합 전략을 적용하여 다양한 수준의 다중스케일 특징을 융합하여 검출의 강건성을 향상시킨다.
• 모델을 자체 구축한 X선 용접 결함 데이터셋에서 엔드 투 엔드로 훈련하고, 일반화 테스트를 위해 MS COCO에서 평가한다.
• 각 구성 요소, 특히 RMF와 EFE의 기여도를 검증하기 위해 추론 분석(ablation study)을 실시한다.

Figure 1: Production process of X-ray weld image. The X-ray tube emits rays to metal, and the welding area and internal defects are revealed on the bottom film.

실험 결과

연구 질문

• RQ1 파라미터가 없는 다중스케일 특징 추출과 파라미터 기반 연산을 조합한 하이브리드 다중스케일 특징 추출 전략이, 소형 및 비정형 결함에 대해 검출 정확도를 향상시킬 수 있는가?
• RQ2 EFE와 같은 경량 백본 모듈이 FLOPs와 파라미터를 줄이면서도 검출 성능을 유지할 수 있는 정도는 어느 정도인가?
• RQ3 기존 YOLO 및 이단계 검출기들과 비교해 LF-YOLO 모델은 자체 구축 및 공개 데이터셋 모두에서 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 RMF 모듈이 경계가 흐리고 무늬가 유사한 복잡한 용접 결함 패턴의 국소적 및 전반적 맥락을 효과적으로 포착할 수 있는가?
• RQ5 미세조정 없이도 표준 객체 검출 벤치마크인 MS COCO에 대해 모델이 잘 일반화되는가?

주요 결과

• LF-YOLO는 자체 구축한 X선 용접 결함 데이터셋에서 4.0 GFLOPs와 7.3M 파라미터로 92.9% mAP50 성능을 달성하여 뛰어난 속도-정확도 트레이드오프를 보였다.
• 모델는 61.5 FPS로 실행되어 실시간 산업 검사 시스템에 적합하다.
• 추론 분석 결과, RMF와 EFE 모듈 모두가 중요한 기여를 하며, 둘을 모두 사용한 전체 모델은 90.7% mAP50 성능을 기록했다.
• MS COCO 데이터셋에서 LF-YOLO×1.25는 50.3% mAP50 성능을 달성하여 SSD 및 YOLOv3를 뛰어넘는 속도-효율성과 함께 Faster R-CNN 수준의 경쟁력을 유지했다.
• 특징 맵의 시각화 결과, EFE 모듈이 저대비 영역에서도 세밀한 무늬와 경계 정보를 효과적으로 포착함을 확인했다.
• RMF에서 SPP 또는 GDConv 구성 요소를 제거할 경우 mAP50가 감소함을 확인하여, 파라미터가 없는 단계와 파라미터 기반 단계 모두의 필요성을 입증했다.

Figure 2: Different weld defect samples. The first row is blow hole (red box), and second row is incomplete peneration (yellow box), while the third row is crack (blue box). The scale of weld defects vary greatly among different defect classes. Meantime, the defect is hard to be recognized due to th