[논문 리뷰] YOLO-pdd: A Novel Multi-scale PCB Defect Detection Method Using Deep Representations with Sequential Images

Bowen Liu, Dongjie Chen외 1명|arXiv (Cornell University)|2024. 07. 22.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 다양한 결함 크기에서의 특징 추출을 향상시키기 위해 계층적 잔차 유사 연결과 Res2Net을 기반으로 한 새로운 다중 척도 모듈을 YOLOv5에 통합한 실시간 고정밀 PCB 결함 검출 방법인 YOLO-pdd를 제안한다. 이 방법은 PKU-Market-PCB 데이터셋에서 95.8%의 mAP, 99.6%의 AP50, 85.6%의 F1 스코어를 기록하여 최신 기술 수준을 확립하였으며, 높은 정확도, 뛰어난 강인성 및 실시간 추론(92 FPS)을 입증하였다.

ABSTRACT

With the rapid growth of the PCB manufacturing industry, there is an increasing demand for computer vision inspection to detect defects during production. Improving the accuracy and generalization of PCB defect detection models remains a significant challenge. This paper proposes a high-precision, robust, and real-time end-to-end method for PCB defect detection based on deep Convolutional Neural Networks (CNN). Traditional methods often suffer from low accuracy and limited applicability. We propose a novel approach combining YOLOv5 and multiscale modules for hierarchical residual-like connections. In PCB defect detection, noise can confuse the background and small targets. The YOLOv5 model provides a strong foundation with its real-time processing and accurate object detection capabilities. The multi-scale module extends traditional approaches by incorporating hierarchical residual-like connections within a single block, enabling multiscale feature extraction. This plug-and-play module significantly enhances performance by extracting features at multiple scales and levels, which are useful for identifying defects of varying sizes and complexities. Our multi-scale architecture integrates feature extraction, defect localization, and classification into a unified network. Experiments on a large-scale PCB dataset demonstrate significant improvements in precision, recall, and F1-score compared to existing methods. This work advances computer vision inspection for PCB defect detection, providing a reliable solution for high-precision, robust, real-time, and domain-adaptive defect detection in the PCB manufacturing industry.

연구 동기 및 목표

• 노이즈, 소형 타깃, 제조 변동성로 인해 기존 PCB 결함 검출 방법의 정확도가 낮고 일반화 능력이 제한되는 문제를 해결한다.
• 다양한 PCB 레이아웃, 부품 배치 및 solderring 조건에서 딥 러닝 모델의 강인성과 도메인 적응 능력을 향상시킨다.
• 고속 생산 라인에 통합하기 위해 정확도를 희생시키지 않은 채 실시간 성능(고 FPS)을 달성한다.
• 계층적 잔차 유사 연결을 갖춘 플러그 앤 플레이 다중 척도 모듈을 통해 다중 척도 결함에 대한 특징 표현을 향상시킨다.
• 특징 추출, 로컬라이제이션, 분류를 통합한 단일 종류의 종단 간 솔루션을 제공하여 효율적이고 정확한 결함 검출을 실현한다.

제안 방법

• 단일 블록 내에서 계층적 잔차 유사 연결을 사용하여 다중 척도에서 특징을 추출하는 새로운 다중 척도 모듈을 YOLOv5에 통합한다.
• YOLOv5의 백본을 Darknet-53와 Res2Net을 조합한 하이브리드 아키텍처로 교체하여 다중 척도 특징 학습 및 표현 능력을 향상시킨다.
• 실시간 종단 간 검출 기능을 갖춘 YOLOv5 프레임워크를 활용하여 산업 현장에서의 효율적 추론을 실현한다.
• 데이터 증강 기법을 적용하여 모델의 일반화 능력을 향상시키고 대규모 레이블링 데이터셋에 대한 의존도를 낮춘다.
• 기존 YOLO 기반 네트워크에 쉽게 통합할 수 있는 플러그 앤 플레이 모듈을 설계하여 소형 및 복잡한 결함에서의 성능 향상을 도모한다.
• 순차적인 이미지를 입력으로 사용하여 맥락 이해를 향상시키고 노이즈 및 배경 혼잡으로 인한 오분류를 감소시킨다.

실험 결과

연구 질문

• RQ1 계층적 잔차 유사 연결을 갖춘 다중 척도 모듈이 다양한 크기와 복잡도의 PCB 결함에 대한 특징 추출을 향상시킬 수 있는가?
• RQ2 YOLOv5와 Res2Net을 조합함으로써 실생활 PCB 검사 환경에서 검출 정확도와 강인성이 어떻게 향상되는가?
• RQ3 제안된 YOLO-pdd 모델이 정밀도, 재현율, F1 스코어 및 추론 속도 측면에서 기존의 단단계 및 이중단계 검출기보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 모델이 미세조정 없이 다양한 PCB 구성 및 제조 변동성에 일반화될 수 있는가?
• RQ5 순차적인 이미지를 사용함으로써 배경 노이즈를 감소시키고 맥락 인식 능력을 향상시켜 결함 검출의 신뢰성을 높일 수 있는가?

주요 결과

• YOLO-pdd는 PKU-Market-PCB 데이터셋에서 95.8%의 평균 정밀도(мAP)를 기록하여 YOLOv5(94.4%) 및 기타 최신 기술 수준의 모델을 크게 앞서 간다.
• 모델은 AP50가 99.6%를 기록하여 IoU 임계치 0.5 하에서 결함 검출의 정밀한 로컬라이제이션 정확도를 입증한다.
• YOLO-pdd는 F1 스코어 85.6%를 기록하여 YOLOv5(35.4%) 및 기타 단단계 검출기보다 상당히 높은 수준의 정밀도와 재현율의 균형을 확보하였다.
• 모델은 92 FPS로 작동하여 YOLOv5(75 FPS) 및 기타 선도적 모델을 초월하여 산업 현장에의 구현을 위한 실시간 능력을 입증하였다.
• 계층적 잔차 유사 연결을 갖춘 다중 척도 모듈은 소형, 중형, 대형 결함 모두에서 효과적인 특징 학습을 가능하게 하여 검출 강인성을 향상시켰다.
• YOLOv5에 Res2Net을 통합함으로써 다중 척도 표현 학습 능력이 향상되어 복잡하고 다양한 종류의 결함 유형에서 뛰어난 성능을 발휘하였다.