[논문 리뷰] Automatic Defect Segmentation on Leather with Deep Learning

Sze‐Teng Liong, Y.S. Gan외 3명|arXiv (Cornell University)|2019. 03. 28.

Industrial Vision Systems and Defect Detection참고 문헌 19인용 수 37

한 줄 요약

이 논문은 Mask R-CNN을 사용한 송아지 가죽의 결함 자동 분할 시스템을 로봇 데이터 수집, Ground-truth 주석, 자동 결함 표시와 함께 원-스텝으로 제시합니다. tick-bite 결함 분할에서 91.5%의 훈련 정확도와 70.35%의 테스트 정확도를 달성합니다.

ABSTRACT

Leather is a natural and durable material created through a process of tanning of hides and skins of animals. The price of the leather is subjective as it is highly sensitive to its quality and surface defects condition. In the literature, there are very few works investigating on the defects detection for leather using automatic image processing techniques. The manual defect inspection process is essential in an leather production industry to control the quality of the finished products. However, it is tedious, as it is labour intensive, time consuming, causes eye fatigue and often prone to human error. In this paper, a fully automatic defect detection and marking system on a calf leather is proposed. The proposed system consists of a piece of leather, LED light, high resolution camera and a robot arm. Succinctly, a machine vision method is presented to identify the position of the defects on the leather using a deep learning architecture. Then, a series of processes are conducted to predict the defect instances, including elicitation of the leather images with a robot arm, train and test the images using a deep learning architecture and determination of the boundary of the defects using mathematical derivation of the geometry. Note that, all the processes do not involve human intervention, except for the defect ground truths construction stage. The proposed algorithm is capable to exhibit 91.5% segmentation accuracy on the train data and 70.35% on the test data. We also report confusion matrix, F1-score, precision and specificity, sensitivity performance metrics to further verify the effectiveness of the proposed approach.

연구 동기 및 목표

• 가죽에서 자동적이고 객관적인 결함 탐지를 도입하여 노동 집약적 수동 점검을 대체한다.
• 가죽 표면의 결함을 국소화하고 분할하는 엔드-투-엔드 시스템을 개발한다.
• 깊은 학습을 이용한 분할과 데이터 수집 및 결함 표명을 위한 로봇 팔을 활용한다.
• Ground-truth 주석을 제공하고 표준 분할 지표로 평가하여 효과를 검증한다.

제안 방법

• 고해상도 카메라와 연속 LED 조명을 갖춘 여섯 축 로봇 팔을 사용해 가죽의 상단 이미지를 촬영한다.
• 각 고해상도 이미지를 400x400 패치로 분할하여 크기 조정 없이 지역 특징 학습을 수행한다.
• 오픈 소스 도구를 사용해 결함 경계를 주석으로 표시하고 픽셀 수준의 ground-truth 마스크를 생성한다.
• MS COCO에서 사전 학습된 Mask R-CNN(FPN 및 ResNet-101 백본)을 가죽 결함에 맞춰 미세 조정한다.
• 작은 결함 영역을 더 잘 감지하도록 RPN 앵커 스케일을 조정한다.
• 결과를 후처리해 눈에 띄는 경계 좌표를 추출하고 이를 물리 좌표로 매핑해 로봇 표식을 수행한다.

실험 결과

연구 질문

• RQ1 Mask R-CNN이 실제 환경에서 송아지 가죽의 tick-bite 결함을 정확하게 감지하고 분할할 수 있는가?
• RQ2 이 결함 유형에 대해 학습 데이터와 미지의 테스트 가죽 이미지에서의 분할 성능은 어떠한가?
• RQ3 이미지 공간의 경계 좌표를 자동 표식을 위한 실제 세계 좌표로 어떻게 효율적으로 변환할 수 있는가?
• RQ4 자동 초크 표식을 갖춘 로봇 시스템이 수동 점검에 비해 결함 시각화 및 추적 가능성을 향상시키는가?

주요 결과

• 가죽 결함 데이터셋에 대한 훈련 정확도는 91.50%에 도달했다.
• 미지의 가죽 이미지에서의 테스트 정확도는 70.35%에 도달했다.
• 테스트 세트의 민감도는 53.57%이고 특이도는 75.81%로, 테스트에서 결함이 아닌 영역을 더 정확히 식별하는 경향이 있었다.
• 테스트 세트에서 결함 클래스에 대해 97개의 True Positives와 104개의 False Negatives, 비결함 케이스에서 326개의 True Negatives와 65개의 False Positives가 나타났다.
• Ground-truth 정합은 모델이 이미지당 다수의 결함을 올바르게 식별했음을 시사하지만, 일부 결함은 누락되었거나 테스트에서 오 alarms가 발생했다.
• 경계 최적화 기법을 사용해 다각형 결함 윤곽의 뚜렷한 점들(진공 값 4 또는 5)을 선택하고, 그람 스캔(Graham Scan)을 통해 볼록 경계를 생성했다.