[论文解读] Integrated Neural Network and Machine Vision Approach For Leather Defect Classification

Sze‐Teng Liong, Y.S. Gan+3 more|arXiv (Cornell University)|May 28, 2019

Industrial Vision Systems and Defect Detection参考文献 17被引用 13

一句话总结

本文提出了一种结合机器视觉与神经网络的综合方法，用于自动分类小牛皮中的蜱咬缺陷。该方法结合手工设计特征（边缘检测器与统计描述符）与人工神经网络（ANN），在75/25训练-测试划分下，采用ApproxCanny边缘检测与50个神经元的隐藏层网络，实现了82.49%的分类准确率。

ABSTRACT

Leather is a type of natural, durable, flexible, soft, supple and pliable material with smooth texture. It is commonly used as a raw material to manufacture luxury consumer goods for high-end customers. To ensure good quality control on the leather products, one of the critical processes is the visual inspection step to spot the random defects on the leather surfaces and it is usually conducted by experienced experts. This paper presents an automatic mechanism to perform the leather defect classification. In particular, we focus on detecting tick-bite defects on a specific type of calf leather. Both the handcrafted feature extractors (i.e., edge detectors and statistical approach) and data-driven (i.e., artificial neural network) methods are utilized to represent the leather patches. Then, multiple classifiers (i.e., decision trees, Support Vector Machines, nearest neighbour and ensemble classifiers) are exploited to determine whether the test sample patches contain defective segments. Using the proposed method, we managed to get a classification accuracy rate of 84% from a sample of approximately 2500 pieces of 400 * 400 leather patches.

研究动机与目标

• 开发一种基于视觉的自动化系统，用于检测小牛皮中的蜱咬缺陷，以减少对人工检查的依赖。
• 评估将手工设计特征（边缘检测器、统计描述符）与数据驱动方法（ANN）结合用于缺陷分类的有效性。
• 比较多种分类器（如SVM、k-NN、决策树）并确定缺陷检测的最佳配置。
• 在包含2,500张带真实标签的皮革样本的真实数据集上验证该方法。

提出的方法

• 对400×400的皮革样本应用边缘检测器（Canny、Prewitt、Sobel、Roberts、LoG、ApproxCanny），以提取纹理与边界特征。
• 使用统计特征提取器（HPIV、HOG、LBP）捕捉样本中的局部强度与梯度模式。
• 将提取的特征输入具有单个隐藏层的人工神经网络（ANN），并使用反向传播进行训练。
• 评估多种分类器（SVM、k-NN、决策树及集成方法）在缺陷与无缺陷二分类任务中的表现。
• ApproxCanny + ANN模型采用5折交叉验证策略，性能评估则采用75/25训练-测试划分。
• 生成受试者工作特征（ROC）曲线，以评估训练与测试阶段二分类器的性能。

实验结果

研究问题

• RQ1 手工设计特征与神经网络的结合是否能有效分类小牛皮中的蜱咬缺陷？
• RQ2 不同隐藏层神经元数量与不同训练/测试数据划分下，ANN模型的性能如何变化？
• RQ3 不同边缘检测器与统计描述符在缺陷检测中的特征相关性如何比较？
• RQ4 类别不平衡（80%为非缺陷样本）对分类器性能有何影响？

主要发现

• 在75/25训练-测试划分下，采用ApproxCanny边缘检测器与隐藏层含50个神经元的ANN模型，实现了最高的分类准确率82.49%。
• ANN模型的混淆矩阵显示，真阴性数为478，真阳性数为12，表明在非缺陷样本上表现优异。
• 基于ApproxCanny的模型在5折交叉验证中达到83.5%的准确率，真阴性数为1,836，真阳性数为147。
• 训练与测试阶段的ROC曲线均显示高真正例率与低假正例率，表明模型具有良好的泛化能力。
• 该方法在类似缺陷检测任务中优于先前方法，尤其在处理小牛皮的真实世界变异性方面表现更优。
• 本研究证实，将手工设计特征与数据驱动模型结合，可显著提升缺陷分类的准确率，优于单一方法。