[论文解读] Fabric Defect Detection Using Vision-Based Tactile Sensor

Bin Fang, Xingming Long+4 more|arXiv (Cornell University)|Mar 2, 2020

Industrial Vision Systems and Defect Detection参考文献 7被引用 4

一句话总结

本文提出了一种基于视觉的触觉传感器系统，用于织物缺陷检测，该系统通过摄像头、LED灯和弹性传感层捕获表面纹理，无需依赖颜色或图案。通过采用强度调节、集成学习的ResNet以及基于均匀性的数据集选择方法，该系统在无需外部照明的条件下，实现了对多种织物中结构性缺陷的鲁棒检测，展示了在真实工业环境中的强可行性与高性能。

ABSTRACT

This paper introduces a new type of system for fabric defect detection with the tactile inspection system. Different from existed visual inspection systems, the proposed system implements a vision-based tactile sensor. The tactile sensor, which mainly consists of a camera, four LEDs, and an elastic sensing layer, captures detailed information about fabric surface structure and ignores the color and pattern. Thus, the ambiguity between a defect and image background related to fabric color and pattern is avoided. To utilize the tactile sensor for fabric inspection, we employ intensity adjustment for image preprocessing, Residual Network with ensemble learning for detecting defects, and uniformity measurement for selecting ideal dataset for model training. An experiment is conducted to verify the performance of the proposed tactile system. The experimental results have demonstrated the feasibility of the proposed system, which performs well in detecting structural defects for various types of fabrics. In addition, the system does not require external light sources, which skips the process of setting up and tuning a lighting environment.

研究动机与目标

• 为解决由颜色和图案变化引起的视觉织物检测中误报的问题。
• 开发一种可独立于视觉外观捕获表面纹理的触觉传感系统。
• 消除织物缺陷检测系统中对受控照明环境的需求。
• 通过深度学习与数据集优化，提升在多种织物类型上的缺陷检测精度。
• 构建一种自包含、无需外部照明的检测系统，适用于工业部署。

提出的方法

• 该系统采用基于视觉的触觉传感器，包含摄像头、四个LED灯和一个弹性传感层，用于捕获织物表面微结构。
• 图像预处理通过强度调节实现，以标准化输入，确保缺陷可见性的一致性。
• 采用带有集成学习的残差网络（ResNet）检测织物图像中的结构性缺陷。
• 通过均匀性测量选择高质量、具有代表性的训练样本，以提升模型泛化能力。
• 系统无需外部光源，依靠内部LED照明实现成像一致性。
• 整个流程设计旨在最小化因织物颜色和图案差异导致的误报。

实验结果

研究问题

• RQ1 基于视觉的触觉传感器是否能有效检测织物缺陷，且不受颜色和图案变化的影响？
• RQ2 所提出系统在多种织物类型上检测结构性缺陷的性能如何？
• RQ3 强度调节与基于均匀性的数据集选择在多大程度上可提升缺陷检测精度？
• RQ4 该系统是否可在无需外部照明的条件下可靠运行，从而简化工业集成？
• RQ5 所提出的触觉传感方法在真实织物检测中的可行性与鲁棒性如何？

主要发现

• 该系统成功检测了多种织物类型中的结构性缺陷，且不受颜色或图案变化的影响。
• 无需外部照明要求，简化了系统部署，提升了在工业环境中的灵活性。
• 强度调节与基于均匀性的数据集选择显著提升了模型训练的稳定性和泛化能力。
• 采用ResNet结合集成学习在识别细微表面缺陷方面实现了高精度。
• 实验结果证实了所提出的触觉传感方法在织物检测中的可行性与鲁棒性。
• 该系统在多种织物类型上表现出色，表明其具有广泛的应用潜力。