[논문 리뷰] Fabric Defect Detection Using Vision-Based Tactile Sensor

Bin Fang, Xingming Long외 4명|arXiv (Cornell University)|2020. 03. 02.

Industrial Vision Systems and Defect Detection참고 문헌 7인용 수 4

한 줄 요약

이 논문은 카메라, LED, 탄성 센싱층을 사용하여 색상이나 무늬에 의존하지 않고 표면 텍스처를 캡처하는 시각 기반 촉각 센서 시스템을 제안한다. 강도 조절, 앙상블 학습을 적용한 ResNet, 균일도 기반 데이터셋 선택을 통해 외부 조명 없이 다양한 직물에서 구조적 결함을 견고하게 탐지하며, 실제 환경에서 높은 타당성과 성능을 입증한다.

ABSTRACT

This paper introduces a new type of system for fabric defect detection with the tactile inspection system. Different from existed visual inspection systems, the proposed system implements a vision-based tactile sensor. The tactile sensor, which mainly consists of a camera, four LEDs, and an elastic sensing layer, captures detailed information about fabric surface structure and ignores the color and pattern. Thus, the ambiguity between a defect and image background related to fabric color and pattern is avoided. To utilize the tactile sensor for fabric inspection, we employ intensity adjustment for image preprocessing, Residual Network with ensemble learning for detecting defects, and uniformity measurement for selecting ideal dataset for model training. An experiment is conducted to verify the performance of the proposed tactile system. The experimental results have demonstrated the feasibility of the proposed system, which performs well in detecting structural defects for various types of fabrics. In addition, the system does not require external light sources, which skips the process of setting up and tuning a lighting environment.

연구 동기 및 목표

• 색상 및 무늬 변화로 인한 잘못된 경고를 유발하는 시각적 직물 검사의 과제를 해결하기 위해.
• 시각적 외관에 영향을 받지 않고 표면 텍스처를 캡처하는 촉각 센싱 시스템을 개발하기 위해.
• 직물 결함 검출 시스템에서 통제된 조명 환경이 필요 없도록 하기 위해.
• 딥 러닝과 데이터셋 최적화를 통해 다양한 직물 유형에서 결함 검출 정확도를 향상시키기 위해.
• 산업 현장에 적합한 자체 완비형, 조명에 의존하지 않는 검사 시스템을 구축하기 위해.

제안 방법

• 시스템은 카메라, 네 개의 LED, 탄성 센싱층을 갖춘 시각 기반 촉각 센서를 사용하여 표면 미세 구조를 캡처한다.
• 이미지 전처리에서 강도 조절을 적용하여 입력을 정규화하여 결함의 일관된 가시성을 확보한다.
• 앙성 학습을 적용한 잔차 신경망(ResNet)을 사용하여 직물 이미지의 구조적 결함을 탐지한다.
• 균일도 측정을 통해 일반화 능력을 향상시키기 위해 고품질이고 대표적인 학습 샘플을 선택한다.
• 시스템은 외부 조명원 없이 작동하며, 일관된 영상 촬영을 위해 내장된 LED 조명에 의존한다.
• 전체 파이프라인은 직물의 색상 및 무늬 변화로 인한 잘못된 경고를 최소화하도록 설계된다.

실험 결과

연구 질문

• RQ1 시각 기반 촉각 센서는 색상 및 무늬 변화의 영향을 받지 않고 직물 결함을 효과적으로 탐지할 수 있는가?
• RQ2 제안된 시스템은 다양한 직물 유형에서 구조적 결함을 탐지하는 데 어떻게 성능을 발휘하는가?
• RQ3 강도 조절과 균일도 기반 데이터셋 선택은 얼마나 결함 탐지 정확도를 향상시킬 수 있는가?
• RQ4 외부 조명 없이도 시스템이 신뢰성 있게 작동하여 산업 통합을 단순화할 수 있는가?
• RQ5 실제 직물 검사 환경에서 제안된 촉각 센싱 접근 방식의 타당성과 견고성은 어떠한가?

주요 결과

• 시스템은 색상이나 무늬 변화의 영향 없이 다양한 직물 유형에서 구조적 결함을 성공적으로 탐지한다.
• 외부 조명이 필요 없기 때문에 시스템 설정이 단순화되고 산업 환경에서의 구현 유연성이 향상된다.
• 강도 조절과 균일도 기반 데이터셋 선택은 모델 학습의 안정성과 일반화 능력을 크게 향상시킨다.
• 앙성 학습을 적용한 ResNet의 사용은 미세한 표면 결함을 고정밀도로 식별하는 데 성공한다.
• 실험 결과는 제안된 촉각 센싱 접근 방식의 타당성과 견고성을 확인한다.
• 시스템은 다양한 직물 유형에서 뛰어난 성능을 보이며, 광범위한 적용 가능성을 시사한다.