[论文解读] Transfer Learning for Material Classification using Convolutional Networks

Patrick Wieschollek, Hendrik P. A. Lensch|arXiv (Cornell University)|Sep 20, 2016

Advanced Neural Network Applications参考文献 16被引用 14

一句话总结

本文提出一种基于卷积神经网络（CNNs）的迁移学习方法，以提升自然图像中的材料分类性能，通过利用预训练的目标识别模型减少数据需求。该方法在包含约10,000张多样化真实世界图像、涵盖10种材料类别的新数据集上进行训练，实现了材料识别的最先进性能；消融研究显示，不同材料类型的反射率与明暗特征贡献各异。

ABSTRACT

Material classification in natural settings is a challenge due to complex interplay of geometry, reflectance properties, and illumination. Previous work on material classification relies strongly on hand-engineered features of visual samples. In this work we use a Convolutional Neural Network (convnet) that learns descriptive features for the specific task of material recognition. Specifically, transfer learning from the task of object recognition is exploited to more effectively train good features for material classification. The approach of transfer learning using convnets yields significantly higher recognition rates when compared to previous state-of-the-art approaches. We then analyze the relative contribution of reflectance and shading information by a decomposition of the image into its intrinsic components. The use of convnets for material classification was hindered by the strong demand for sufficient and diverse training data, even with transfer learning approaches. Therefore, we present a new data set containing approximately 10k images divided into 10 material categories.

研究动机与目标

• 提升在光照、视角和几何结构多变的自然、非受限环境中材料分类的准确性。
• 通过利用预训练目标识别模型的迁移学习，减少对大规模多样化训练数据的需求。
• 分析反射率与明暗成分对材料识别性能的相对贡献。
• 为材料分类研究引入一个包含10,000张图像、涵盖10种材料类别的全新大规模真实世界数据集。

提出的方法

• 通过从目标识别模型迁移学习，微调预训练的卷积神经网络（CNN）用于材料分类。
• 在新收集的约10,000张来自Google Images的图像数据集上训练CNN，覆盖10种材料类别，涵盖不同光照与视角条件。
• 使用最先进的图像分解方法，将输入图像分解为内在成分——反射率与明暗，以隔离并分析其贡献。
• 通过使用RGB、仅反射率和仅明暗输入评估模型，以评估特征重要性。
• 在CNN最终特征上使用多层感知机（MLP）分类器预测材料类别。
• 通过消融研究比较不同输入模态（RGB、反射率、明暗）下的性能，以确定各类材料类别中最具判别性的视觉线索。

实验结果

研究问题

• RQ1 与手工设计特征相比，从目标识别迁移学习在材料分类性能上表现如何？
• RQ2 在不同材料类型中，内在图像成分中的反射率或明暗哪一个对准确材料识别贡献更大？
• RQ3 在大规模多样化真实世界图像数据集上训练的深度CNN是否能超越以往最先进方法在材料分类中的表现？
• RQ4 预测置信度与正确性之间有何相关性？这揭示了模型的何种鲁棒性特征？
• RQ5 场景上下文在多大程度上影响材料分类？屏蔽背景信息是否能提升性能？

主要发现

• 所提出的基于CNN的迁移学习方法在识别率上显著优于以往最先进方法，在Flickr Material Database（FMD）上超越了手工设计特征。
• 当仅使用反射率信息进行训练时，模型在GMD测试集上达到98%的准确率，表明反射率是许多材料的高判别性特征。
• 对于木材，模型在正确预测上的置信度较高（平均0.97），而误分类预测的置信度较低（平均0.64），表明其不确定性估计具有可靠性。
• 反射率信息在区分玻璃、水、石材和叶类材料方面尤为有效，而明暗特征对金属和塑料等材料的贡献更大。
• 混淆矩阵显示，即使在有充足训练数据的情况下，纸张与叶类材料仍常被混淆，表明其存在固有的视觉相似性。
• 使用二值掩码将背景像素替换为均值颜色或白色并未提升性能，表明上下文场景信息对准确分类至关重要。