[论文解读] Material Classification using Neural Networks

Anca Sticlaru|arXiv (Cornell University)|Oct 17, 2017

Industrial Vision Systems and Defect Detection参考文献 23被引用 3

一句话总结

本本科论文研究了使用深度神经网络进行材料分类，评估了九种CNN架构与线性SVM在四个基准数据集上的表现。结果表明，迁移学习——通过提取倒数第二层全连接层的特征——可显著提升性能，最高实现92.5%的平均平均精度，尤其在大规模数据集中因更优地捕捉了明暗和反照率特性而获得显著提升。

ABSTRACT

The recognition and classification of the diversity of materials that exist in the environment around us are a key visual competence that computer vision systems focus on in recent years. Understanding the identification of materials in distinct images involves a deep process that has made usage of the recent progress in neural networks which has brought the potential to train architectures to extract features for this challenging task. This project uses state-of-the-art Convolutional Neural Network (CNN) techniques and Support Vector Machine (SVM) classifiers in order to classify materials and analyze the results. Building on various widely used material databases collected, a selection of CNN architectures is evaluated to understand which is the best approach to extract features in order to achieve outstanding results for the task. The results gathered over four material datasets and nine CNNs outline that the best overall performance of a CNN using a linear SVM can achieve up to ~92.5% mean average precision, while applying a new relevant direction in computer vision, transfer learning. By limiting the amount of information extracted from the layer before the last fully connected layer, transfer learning aims at analyzing the contribution of shading information and reflectance to identify which main characteristics decide the material category the image belongs to. In addition to the main topic of my project, the evaluation of the nine different CNN architectures, it is questioned if, by using the transfer learning instead of extracting the information from the last convolutional layer, the total accuracy of the system created improves. The results of the comparison emphasize the fact that the accuracy and performance of the system improve, especially in the datasets which consist of a large number of images.

研究动机与目标

• 评估各种预训练CNN架构在计算机视觉中用于材料分类的有效性。
• 评估通过从倒数第二层全连接层提取特征进行迁移学习，是否相比使用最后一层卷积层的特征能提升分类准确率。
• 分析明暗和反照率信息对材料类别识别的贡献。
• 比较线性SVM在不同CNN特征提取器下在多个材料数据集上的性能表现。
• 确定在大规模图像集合中进行材料分类的最佳特征提取策略。

提出的方法

• 本研究采用九种最先进的预训练卷积神经网络（CNN）架构，从材料图像中提取特征。
• 从最后一层卷积层和倒数第二层全连接层提取特征，以评估迁移学习的影响。
• 使用线性支持向量机（SVM）作为分类器，将提取的特征映射到材料类别。
• 在四个广泛使用的材料数据库上训练和评估模型，以确保在不同数据集间的泛化能力。
• 通过平均平均精度（mAP）衡量性能，并通过消融研究比较不同特征提取策略。
• 通过限制从倒数第二层提取的信息，应用迁移学习以隔离反照率和明暗在材料识别中的作用。

实验结果

研究问题

• RQ1 与使用最后一层卷积层的特征相比，通过迁移学习从倒数第二层全连接层提取特征是否能提升材料分类的准确率？
• RQ2 不同CNN架构在跨多样化数据集提取材料分类判别性特征方面表现如何？
• RQ3 明暗和反照率特性在多大程度上促进了准确的材料类别预测？
• RQ4 迁移学习带来的性能提升在大规模数据集中是否更为显著？
• RQ5 当与预训练CNN的深度特征结合时，线性SVM能否有效分类材料？

主要发现

• 表现最佳的系统在使用迁移学习与线性SVM的组合下，实现了约92.5%的平均平均精度（mAP）。
• 迁移学习显著提升了分类准确率，尤其在大规模数据集中，通过更优捕捉反照率和明暗线索实现。
• 倒数第二层全连接层提取的特征比最后一层卷积层更具判别性，适用于材料分类。
• 迁移学习带来的性能增益在图像多样性更高、样本量更大的数据集中尤为显著。
• 在评估的九种CNN架构中，ResNet和DenseNet变体在所有数据集中均表现出较强的泛化能力。
• 本研究证实，反照率和明暗是材料识别的关键视觉线索，其有效提取可显著提升分类性能。