[논문 리뷰] Integrated Neural Network and Machine Vision Approach For Leather Defect Classification

Sze‐Teng Liong, Y.S. Gan외 3명|arXiv (Cornell University)|2019. 05. 28.

Industrial Vision Systems and Defect Detection참고 문헌 17인용 수 13

한 줄 요약

이 논문은 소가죽의 이물질 흠집 결함을 자동으로 분류하기 위한 통합된 기계시각 및 신경망 접근법을 제안한다. 수작업 특징(경계 검출기 및 통계적 기술자)과 인공신경망(ANN)을 결합하여, ApproxCanny 경계 검출기와 50개의 뉴런을 가진 은닉층을 사용한 75/25 훈련-테스트 분할에서 분류 정확도 82.49%를 달성하였다.

ABSTRACT

Leather is a type of natural, durable, flexible, soft, supple and pliable material with smooth texture. It is commonly used as a raw material to manufacture luxury consumer goods for high-end customers. To ensure good quality control on the leather products, one of the critical processes is the visual inspection step to spot the random defects on the leather surfaces and it is usually conducted by experienced experts. This paper presents an automatic mechanism to perform the leather defect classification. In particular, we focus on detecting tick-bite defects on a specific type of calf leather. Both the handcrafted feature extractors (i.e., edge detectors and statistical approach) and data-driven (i.e., artificial neural network) methods are utilized to represent the leather patches. Then, multiple classifiers (i.e., decision trees, Support Vector Machines, nearest neighbour and ensemble classifiers) are exploited to determine whether the test sample patches contain defective segments. Using the proposed method, we managed to get a classification accuracy rate of 84% from a sample of approximately 2500 pieces of 400 * 400 leather patches.

연구 동기 및 목표

• 수작업 검사에 의존도를 줄이기 위해 소가죽의 이물질 흠집 결함을 자동으로 탐지할 수 있는 비전 기반 시스템을 개발한다.
• 수작업 특징(경계 검출기, 통계적 기술자)과 데이터 기반 방법(ANN)을 결합하여 결함 분류에 효과적인지 평가한다.
• 다양한 분류기(SVM, k-NN, 의사결정나무 등)를 비교하여 결함 탐지에 최적의 설정을 규명한다.
• 지침이 제공된 2,500개의 가죽 패치로 구성된 실제 데이터셋을 활용해 방법을 검증한다.

제안 방법

• 400×400 크기의 가죽 패치에서 무늬와 경계 특징을 추출하기 위해 경계 검출기(Canny, Prewitt, Sobel, Roberts, LoG, ApproxCanny)를 적용한다.
• 패치 내 국소 강도 및 기울기 패턴을 캡처하기 위해 통계적 특징 추출기(HPIV, HOG, LBP)를 사용한다.
• 추출된 특징들은 단일 은닉층을 가진 인공신경망(ANN)에 입력되며, 역전파 알고리즘을 사용해 훈련된다.
• 이진 분류를 위해 SVM, k-NN, 의사결정나무 및 앙상블 방법 등 다양한 분류기를 평가한다.
• ApproxCanny + ANN 모델에 대해 5겹 교차검증 전략을 사용하고, 성능 평가에는 75/25 훈련-테스트 분할을 사용한다.
• 훈련 및 테스트 단계에서 이진 분류기 성능을 평가하기 위해 수신기 작동 특성(ROC) 곡선을 생성한다.

실험 결과

연구 질문

• RQ1 수작업 특징과 신경망의 조합이 소가죽의 이물질 흠집 결함을 효과적으로 분류할 수 있는가?
• RQ2 은닉 뉴런 수와 훈련/테스트 데이터 분할 방식에 따라 ANN 모델의 성능은 어떻게 변하는가?
• RQ3 다양한 경계 검출기와 통계적 기술자 간의 특징 관련성은 결함 탐지에서 어떻게 비교되는가?
• RQ4 비율이 80%로 비율이 높은 비결함 샘플(클래스 불균형)이 분류기 성능에 미치는 영향은 무엇인가?

주요 결과

• 가장 높은 분류 정확도는 75/25 훈련-테스트 분할에서 ApproxCanny 경계 검출기와 은닉층에 50개의 뉴런을 가진 ANN을 사용할 때 82.49%를 기록하였다.
• ANN 모델의 혼동 행렬은 참 음성 478건과 참 양성 12건을 보여주어 비결함 샘플에 대해 강력한 성능을 나타냈다.
• ApproxCanny 기반 모델은 5겹 교차검증에서 83.5%의 정확도를 달성했으며, 참 음성 1,836건과 참 양성 147건을 기록했다.
• 훈련 및 테스트 단계에서의 ROC 곡선은 높은 참 양성 비율과 낮은 위양성 비율을 보여주어 좋은 일반화 성능을 확인했다.
• 특히 실제 소가죽의 변동성을 다루는 데서 이전의 접근 방식보다 우수한 성능을 보였다.
• 수작업 특징과 데이터 기반 모델을 통합하면 단독으로 사용할 경우보다 결함 분류 정확도가 향상됨을 확인했다.