[논문 리뷰] Recognition Of Surface Defects On Steel Sheet Using Transfer Learning

Jingwen Fu, Xiaoyan Zhu외 1명|arXiv (Cornell University)|2019. 09. 07.

Industrial Vision Systems and Defect Detection참고 문헌 28인용 수 15

한 줄 요약

이 논문은 특징 추출기로 미세조정된 VGG16을 사용하고 분류기로 고유의 CNN을 사용하는 전이학습 기반 접근법을 제안한다. 150장의 이미지가 각 클래스당 있는 데이터셋에서 99.1%의 정확도를 달성하였고, 10장의 이미지가 각 클래스당 있는 데이터셋에서는 96.0%의 정확도를 기록하여, 저데이터 환경에서 이전 방법들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Automatic defect recognition is one of the research hotspots in steel production, but most of the current methods mainly extract features manually and use machine learning classifiers to recognize defects, which cannot tackle the situation, where there are few data available to train and confine to a certain scene. Therefore, in this paper, a new approach is proposed which consists of part of pretrained VGG16 as a feature extractor and a new CNN neural network as a classifier to recognize the defect of steel strip surface based on the feature maps created by the feature extractor. Our method achieves an accuracy of 99.1% and 96.0% while the dataset contains 150 images each class and 10 images each class respectively, which is much better than previous methods.

연구 동기 및 목표

• 수동 특징 엔지니어링으로 인해 성능에 한계가 있는 저데이터 시나리오에서 강철 표면 결함 인식의 과제를 해결하기 위해.
• 결함 데이터셋이 작고 불균형한 산업 현장에서의 인식 정확도 향상을 위해.
• VGG16에서 사전 훈련된 깊이 신경망 특징을 활용하여 광범위한 수동 특징 추출에 의존하는 것을 줄이기 위해.
• 실제 강철 제조 환경에 적응 가능한 강력한 종단 간 딥러닝 프레임워크를 개발하기 위해.
• 산업 적용에서 흔히 볼 수 있는 소규모 결함 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 사전 훈련된 VGG16 모델을 고정된 특징 추출기로 사용하며, 합성곱 층의 가중치를 동결하여 학습된 특징를 유지한다.
• VGG16의 최종 완전 연결 층을 강철 결함 인식에 적합한 새로운 무작위 초기화된 CNN 분류기로 대체한다.
• VGG16의 마지막 합성곱 층에서 생성된 특징 맵을 새로운 분류기에 입력하여 종단 간 훈련을 수행한다.
• 초기 훈련 동안 VGG16 특징 추출기의 가중치를 고정한 채로, 새로운 분류기의 미세조정을 통해 전이학습을 적용한다.
• 일반화 성능 향상을 위해 데이터 증강을 적용하고, 교차 엔트로피 손실 및 확률적 경사 하강법을 사용해 모델을 훈련한다.
• 두 가지 데이터셋을 기반으로 접근법을 평가한다: 하나는 각 결함 유형당 150장의 이미지가 포함된 데이터셋이고, 다른 하나는 각 클래스당 단지 10장의 이미지가 포함된 데이터셋이다.

실험 결과

연구 질문

• RQ1 소규모 훈련 이미지 수가 제한된 조건에서 전이학습이 결함 인식 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 강철 결함 분류에서 기존의 수동 특징 엔지니어링 대비 사전 훈련된 VGG16 특징 추출기가 어떤 성능 차이를 보이는가?
• RQ3 미세조정된 고유의 CNN 분류기가 저데이터 강철 표면 결함 데이터셋에서 얼마나 높은 정확도를 달성할 수 있는가?
• RQ4 클래스당 훈련 샘플 수가 150장에서 10장으로 감소했을 때 제안된 방법이 여전히 높은 성능을 유지하는가?
• RQ5 VGG16 특징과 경량 분류기의 조합이 다양한 강철 표면 결함 유형에 대해 잘 일반화되는가?

주요 결과

• 제안된 방법은 각 결함 유형당 150장의 이미지가 포함된 데이터셋에서 99.1%의 분류 정확도를 달성하여 이전 방법들을 능가했다.
• 단지 각 클래스당 10장의 이미지가 있는 조건에서도 모델은 96.0%의 정확도를 기록하여 저데이터 환경에서 뛰어난 일반화 능력을 입증했다.
• 사전 훈련된 VGG16 특징의 사용은 수동 특징 엔지니어링의 필요성을 크게 줄였고 모델의 강건성 향상에 기여했다.
• 미세조정된 고유의 CNN 분류기는 제한된 데이터로부터도 구분 가능한 패턴을 효과적으로 학습하여 특징의 높은 전이 가능성임을 시사했다.
• 모델은 다양한 결함 유형에 걸쳐 일관된 성능을 보였으며, 산업적 강철 품질 관리에 넓은 적용 가능성을 보였다.
• 결과적으로 레이블이 부족한 상황에서 전이학습이 강철 표면 결함 인식에 매우 효과적임을 확인했다.