[论文解读] Efficient Neural Network Approaches for Leather Defect Classification

Sze‐Teng Liong, Y.S. Gan+6 more|arXiv (Cornell University)|Jun 15, 2019

Industrial Vision Systems and Defect Detection参考文献 8被引用 9

一句话总结

本文提出了一种高效的深度学习方法，用于通过预处理的图像块和神经网络实现皮革缺陷的自动化分类。通过应用Canny边缘检测和分块处理，再结合人工神经网络（ANN）和卷积神经网络（CNN，具体为修改版AlexNet）进行特征提取，该方法在约2000个样本的数据集上实现了最高80.3%的分类准确率，相较于人工检测表现出更高的效率。

ABSTRACT

Genuine leather, such as the hides of cows, crocodiles, lizards and goats usually contain natural and artificial defects, like holes, fly bites, tick marks, veining, cuts, wrinkles and others. A traditional solution to identify the defects is by manual defect inspection, which involves skilled experts. It is time consuming and may incur a high error rate and results in low productivity. This paper presents a series of automatic image processing processes to perform the classification of leather defects by adopting deep learning approaches. Particularly, the leather images are first partitioned into small patches,then it undergoes a pre-processing technique, namely the Canny edge detection to enhance defect visualization. Next, artificial neural network (ANN) and convolutional neural network (CNN) are employed to extract the rich image features. The best classification result achieved is 80.3 %, evaluated on a data set that consists of 2000 samples. In addition, the performance metrics such as confusion matrix and Receiver Operating Characteristic (ROC) are reported to demonstrate the efficiency of the method proposed.

研究动机与目标

• 通过自动化分类流程解决人工皮革缺陷检测效率低下和不一致的问题。
• 降低皮革制造行业质量控制中的人工错误和劳动强度。
• 评估深度学习模型（特别是ANN与CNN）在真实世界皮革缺陷图像数据集上的性能表现。
• 通过将训练集重构为1:1、1:2和1:3的类别比例，缓解缺陷分类中的数据不平衡问题。
• 通过图像预处理技术（如边缘检测和空间分块）优化模型性能。

提出的方法

• 将皮革图像划分为小的空域块（例如50×50至200×200像素），以实现缺陷的定位与分析。
• 预处理包括RGB转灰度图、图像缩放以及Canny边缘检测，以增强缺陷的可见性。
• 在预处理后，使用人工神经网络（ANN）进行特征提取与分类，其输入向量源自图像块。
• 采用修改版AlexNet架构的卷积神经网络（CNN）从图像块中提取分层特征。
• 通过将数据集重构为缺陷样本与非缺陷样本1:1、1:2和1:3的比例，实施数据增强与类别平衡。
• 通过调整分辨率、训练轮次数量和学习率等超参数，以优化分类准确率。

实验结果

研究问题

• RQ1 图像预处理与深度学习模型的结合是否能有效实现高准确率的皮革缺陷分类？
• RQ2 神经网络架构的选择（ANN与CNN）对皮革缺陷数据集分类性能有何影响？
• RQ3 数据不平衡在多大程度上影响分类准确率？在缺陷检测任务中应如何缓解此问题？
• RQ4 使用修改版AlexNet时，实现最大分类准确率的最优块分辨率与训练轮次数量是多少？
• RQ5 不同光照条件（明亮与黑暗）对所提出分类模型的性能有何影响？

主要发现

• 基于ANN的方法在约2000张皮革图像的完整数据集上实现了最高的分类准确率80.3%。
• 使用修改版AlexNet的CNN分类方法，在图像缩放处理且缺陷与非缺陷样本比为1:3时，准确率最高达到76%。
• 在1:3数据子集中，使用150×150像素块与200轮训练时，准确率最高达到75.1%；在黑暗条件下，200×200分辨率下准确率为74.1%。
• 混淆矩阵显示，修改版AlexNet模型在1:3明亮+黑暗子集上，正确分类了74.0%的缺陷样本与86.4%的非缺陷样本。
• 在1:3数据子集中，明亮光照条件下，50×50分辨率与100轮训练时达到最高准确率（75.0%）。
• 本研究证实，结合Canny边缘检测的预处理可改善缺陷可视化，并有助于提升特征提取与分类性能。