[论文解读] Material Recognition from Local Appearance in Global Context

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|Nov 28, 2016

Advanced Neural Network Applications参考文献 18被引用 20

一句话总结

本文提出了一种新颖的框架，通过显式分离局部材质外观与全局上下文线索（物体和场景），并利用仅在材质类别上训练的全卷积网络，实现密集的、逐像素的材质识别。该方法在多样化材质数据集上实现了最先进（SOTA）的准确率，且训练数据量显著少于以往通过大图像块隐式融合上下文的方法。

ABSTRACT

Recognition of materials has proven to be a challenging problem due to the wide variation in appearance within and between categories. Global image context, such as where the material is or what object it makes up, can be crucial to recognizing the material. Existing methods, however, operate on an implicit fusion of materials and context by using large receptive fields as input (i.e., large image patches). Many recent material recognition methods treat materials as yet another set of labels like objects. Materials are, however, fundamentally different from objects as they have no inherent shape or defined spatial extent. Approaches that ignore this can only take advantage of limited implicit context as it appears during training. We instead show that recognizing materials purely from their local appearance and integrating separately recognized global contextual cues including objects and places leads to superior dense, per-pixel, material recognition. We achieve this by training a fully-convolutional material recognition network end-to-end with only material category supervision. We integrate object and place estimates to this network from independent CNNs. This approach avoids the necessity of preparing an impractically-large amount of training data to cover the product space of materials, objects, and scenes, while fully leveraging contextual cues for dense material recognition. Furthermore, we perform a detailed analysis of the effects of context granularity, spatial resolution, and the network level at which we introduce context. On a recently introduced comprehensive and diverse material database \cite{Schwartz2016}, we confirm that our method achieves state-of-the-art accuracy with significantly less training data compared to past methods.

研究动机与目标

• 为应对高外观变化下的材质识别挑战，通过将局部材质线索与全局上下文解耦。
• 克服现有方法通过大图像块隐式混合材质与上下文所导致的局限性，这些方法限制了解耦与泛化能力。
• 通过将独立预测的物体和场景上下文整合进材质识别网络，提升逐像素材质识别的准确率。
• 研究在基于CNN的框架中，整合上下文信息的最佳粒度、空间分辨率及网络层。
• 减少对覆盖所有材质、物体和场景组合的海量、不切实际的大规模数据集的依赖。

提出的方法

• 使用仅基于材质类别监督的局部图像块，端到端训练一个全卷积神经网络。
• 通过独立预训练的物体检测和场景分类（Places CNN）网络预测的上下文信息引入全局上下文。
• 在选定的网络层和空间分辨率下，将上下文特征与材质识别网络的特征图进行拼接。
• 该框架支持在不同粒度和空间尺度下显式集成上下文信息，支持对最优集成策略的消融研究。
• 模型在多样化、全面的材质数据集上进行微调，上下文特征从同一输入图像中提取，但来自独立网络。
• 通过利用预训练模型获取上下文，避免了对材质、物体和场景联合标注的需求。

实验结果

研究问题

• RQ1 与通过大图像块隐式融合的上下文相比，显式集成全局上下文（物体和场景）如何提升逐像素材质识别性能？
• RQ2 将上下文线索整合进材质识别网络时，最佳的粒度和空间分辨率是什么？
• RQ3 在CNN的哪个层次级引入上下文信息可最大化识别准确率？
• RQ4 当结合独立预测的上下文时，仅在材质类别上训练的模型是否能在数据量更少的情况下实现更优性能？
• RQ5 与在有偏或有限数据集上训练的方法相比，该方法在多样化真实世界材质数据集上的泛化能力如何？

主要发现

• 所提方法在全面且多样的材质识别基准上实现了最先进（SOTA）的准确率，优于以往隐式融合上下文的方法。
• 在局部材质数据集上，模型实现了68.5%的平均类别准确率[14]，尽管训练数据量少于使用250万张图像块的MINC等方法，仍表现出强大的泛化能力。
• 该方法显著优于仅使用大图像块训练的基线模型，证实显式上下文集成可提升识别性能，超越大感受野中隐含的上下文信息。
• 消融研究显示，在中间层以中等空间分辨率集成上下文特征可获得最佳性能，表明感受野大小与特征特异性之间存在权衡。
• 通过利用多样化、独立的上下文来源，该框架减少了数据集特定材质分布带来的偏差（例如，MINC数据集偏向房地产图像）。
• 定性结果表明，上下文信息可解决局部模糊性，例如区分无镜面高光的金属或具有混凝土纹理的水面，证实显式上下文集成的价值。