[论文解读] Material Recognition in the Wild with the Materials in Context Database

Sean Bell, Paul Upchurch+2 more|arXiv (Cornell University)|Dec 1, 2014

Advanced Neural Network Applications参考文献 28被引用 20

一句话总结

本文提出了材料上下文数据库（MINC），这是一个大规模、多样化的数据集，包含来自真实世界和模拟场景的300万种材料样本，并利用该数据集训练深度卷积神经网络（CNN）以实现材料识别与密集分割。该方法在基于图像块的分类任务中达到85.2%的平均类别准确率，在全图分割任务中达到73.1%的准确率，采用全卷积神经网络结合全连接条件随机场（CRF）的方法，证明了大规模、充分采样的数据集对于实现鲁棒的真实世界材料识别至关重要。

ABSTRACT

Recognizing materials in real-world images is a challenging task. Real-world materials have rich surface texture, geometry, lighting conditions, and clutter, which combine to make the problem particularly difficult. In this paper, we introduce a new, large-scale, open dataset of materials in the wild, the Materials in Context Database (MINC), and combine this dataset with deep learning to achieve material recognition and segmentation of images in the wild. MINC is an order of magnitude larger than previous material databases, while being more diverse and well-sampled across its 23 categories. Using MINC, we train convolutional neural networks (CNNs) for two tasks: classifying materials from patches, and simultaneous material recognition and segmentation in full images. For patch-based classification on MINC we found that the best performing CNN architectures can achieve 85.2% mean class accuracy. We convert these trained CNN classifiers into an efficient fully convolutional framework combined with a fully connected conditional random field (CRF) to predict the material at every pixel in an image, achieving 73.1% mean class accuracy. Our experiments demonstrate that having a large, well-sampled dataset such as MINC is crucial for real-world material recognition and segmentation.

研究动机与目标

• 为解决真实世界材料识别中缺乏大规模、多样化且充分采样数据集的问题。
• 在具有丰富纹理、光照和杂乱背景的复杂真实场景中，提升材料分类与分割性能。
• 评估数据集规模、网络架构以及上下文信息对材料识别性能的影响。
• 开发一种高效的全卷积框架，并结合CRF优化实现像素级的材料密集标注。
• 基于一个全新、公开且全面的数据集，建立材料识别的基准测试。

提出的方法

• 通过三阶段的亚马逊机械 Turk 工作流构建 MINC 数据集，从 Flickr 和 Houzz 图像中收集数百万个标注的材料点击样本。
• 在围绕标注材料区域裁剪的图像块上训练多种 CNN 架构（如 AlexNet、GoogLeNet），以学习特定于材料的特征。
• 将训练好的 CNN 权重迁移至全卷积网络（FCN），以实现在全图上的密集、逐像素预测。
• 应用全连接条件随机场（CRF）对 CNN 的粗粒度预测结果进行优化，提升边界精度与分割质量。
• 通过数据增强与迁移学习提升泛化能力，尤其在低频类别上表现更优。
• 采用跨数据集评估与消融研究，分析训练数据规模、模型架构以及上下文信息的影响。

实验结果

研究问题

• RQ1 材料数据集的规模与多样性在多大程度上影响真实世界材料识别的性能？
• RQ2 在大规模、多样化数据集上训练的深度学习模型，是否能泛化到具有可变光照与几何结构的复杂、杂乱场景？
• RQ3 如何通过利用周围图像区域的上下文信息来提升材料分类的准确率？
• RQ4 在大规模材料识别任务中，基于 CNN 的模型与传统手工设计特征（如 SIFT_IFV）相比，性能如何？
• RQ5 与原始 CNN 预测结果相比，CRF 后处理在多大程度上提升了分割质量？

主要发现

• 表现最佳的 CNN 架构在 MINC 数据集上基于图像块的材料分类任务中达到 85.2% 的平均类别准确率。
• 结合全连接 CRF 的全卷积 CNN 在全图材料分割任务中达到 73.1% 的平均类别准确率。
• 在 MINC 上进行训练显著优于在较小的 FMD 数据集上训练，当在 MINC 自身数据上微调时，准确率绝对提升了 19.5%。
• 跨数据集评估表明，基于 FMD 训练的模型在 MINC 上泛化能力差，说明 FMD 不足以支持真实世界材料识别。
• 在 MINC 上，微调后的 CNN（准确率 76.0%）优于混合 SIFT_IFV + fc7 特征方法（准确率 67.4%），证明了大规模数据集上深度学习的优越性。
• 在木材、水和抛光石材等具有挑战性的类别上，高置信度预测仍常因视觉相似性与上下文混淆而发生误分类，即使在高置信度下也是如此。