[논문 리뷰] Industrial object, machine part and defect recognition towards fully automated industrial monitoring employing deep learning. The case of multilevel VGG19

Ioannis D. Apostolopoulos, Mpesiana A. Tzani|arXiv (Cornell University)|2020. 11. 23.

Industrial Vision Systems and Defect Detection참고 문헌 18인용 수 5

한 줄 요약

이 논문은 산업용 물체, 기계 부품 및 결함 인식을 위해 설계된 다층 VGG19(MVGG19)이라는 수정된 딥 컨볼루션 신경망 아키텍처를 제안한다. 다중 경로 특징 추출과 연결 병합을 통합함으로써 MVGG19는 여섯 개인 산업 데이터셋에서 표준 VGG19 대비 평균 정확도 향상 6.95%를 달성하여 자동 산업 모니터링 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Modern industry requires modern solutions for monitoring the automatic production of goods. Smart monitoring of the functionality of the mechanical parts of technology systems or machines is mandatory for a fully automatic production process. Although Deep Learning has been advancing, allowing for real-time object detection and other tasks, little has been investigated about the effectiveness of specially designed Convolutional Neural Networks for defect detection and industrial object recognition. In the particular study, we employed six publically available industrial-related datasets containing defect materials and industrial tools or engine parts, aiming to develop a specialized model for pattern recognition. Motivated by the recent success of the Virtual Geometry Group (VGG) network, we propose a modified version of it, called Multipath VGG19, which allows for more local and global feature extraction, while the extra features are fused via concatenation. The experiments verified the effectiveness of MVGG19 over the traditional VGG19. Specifically, top classification performance was achieved in five of the six image datasets, while the average classification improvement was 6.95%.

연구 동기 및 목표

• 자동화된 제조 환경에서 산업 결함 검출 및 물체 인식을 위한 전용 딥 러닝 모델의 부족을 해결하기 위해.
• 산업 이미지 이해를 위한 국소적 및 전반적 특징 추출 능력을 향상시켜 표준 VGG19를 초월하기 위해.
• 다양한 네트워크 브랜치에서 유래한 특징을 융합하는 다중 경로 아키텍처를 개발하여 인식 성능을 향상시키기 위해.
• 결함, 도구, 기계 부품을 포함한 다양한 산업 데이터셋을 활용해 모델의 효과성을 검증하기 위해.
• 강력하고 종단 간(end-to-end) 딥 러닝 기반 인식 시스템을 통해 완전 자동 산업 모니터링을 가능하게 하기 위해.

제안 방법

• 다양한 추상화 수준의 특징을 추출하기 위해 병렬 경로를 갖춘 수정된 VGG19 아키텍처를 제안한다.
• 다른 네트워크 브랜치에서 유래한 고수준 및 저수준 특징을 연결하여 특징 융합을 도입한다.
• 기본 모델로 사전 훈련된 VGG19를 사용하고 산업 데이터셋에서 미세 조정(fine-tune)하여 결함 및 부품 인식 작업에 적응시킨다.
• 제한된 산업 이미지 데이터에서 일반화 능력을 향상시키기 위해 데이터 증강 및 전이 학습 기법을 적용한다.
• 종단 간 최적화를 위해 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 모델을 훈련시킨다.
• 여섯 개인 공개 산업 데이터셋에서 상위-1 및 상위-5 분류 정확도를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 경로 특징 추출 기능을 갖춘 수정된 VGG19 아키텍처가 산업용 물체 및 결함의 인식 정확도 향상에 기여할 수 있는가?
• RQ2 다중 수준 특징의 연결 병합 방식은 표준 VGG19에 비해 특징 표현 능력을 어떻게 향상시키는가?
• RQ3 제안된 MVGG19 모델은 다양한 산업 데이터셋에서 원본 VGG19를 얼마나 뛰어나게 성능을 내는가?
• RQ4 아키텍처 수정이 산업 모니터링 시나리오에서 일반화 능력과 견고성에 어떤 영향을 미치는가?
• RQ5 모델은 다양한 결함 유형과 기계 부품 카테고리에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• MVGG19는 테스트한 여섯 개인 산업 이미지 데이터셋 중 다섯 곳에서 최상의 분류 성능을 기록했다.
• 모든 데이터셋에서 표준 VGG19 대비 평균 정확도 향상 6.95%를 보였다.
• 다중 경로 설계 덕분에 산업 이미지 내 국소적 무늬와 전반적 구조적 패턴을 더 효과적으로 포착할 수 있었다.
• 연결을 통한 특징 융합은 단일 경로 특징 추출에 비해 분류 능력 향상에 뚜렷한 기여를 하였다.
• 금속 결함, 엔진 부품, 기계 도구를 포함한 다양한 산업 분야에서 강력한 일반화 능력을 보였다.
• 결과적으로 VGG19에 대한 아키텍처 수정이 산업 컴퓨터 비전 작업에서 상당한 성능 향상을 이끌 수 있음을 확인하였다.