[论文解读] Visualizing and Understanding Deep Texture Representations

Tsung‐Yu Lin, Subhransu Maji|arXiv (Cornell University)|Nov 16, 2015

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 17

一句话总结

本文提出了一种双线性CNN模型，作为强大且平移不变的纹理描述符，在纹理和场景识别基准测试中优于现有方法。通过反演模型以可视化预图像，揭示了深度特征如何编码类别化的纹理属性，从而实现基于属性的图像操作，例如以高保真度使图像变得更‘漩涡状’或‘针织状’。

ABSTRACT

A number of recent approaches have used deep convolutional neural networks (CNNs) to build texture representations. Nevertheless, it is still unclear how these models represent texture and invariances to categorical variations. This work conducts a systematic evaluation of recent CNN-based texture descriptors for recognition and attempts to understand the nature of invariances captured by these representations. First we show that the recently proposed bilinear CNN model [25] is an excellent general-purpose texture descriptor and compares favorably to other CNN-based descriptors on various texture and scene recognition benchmarks. The model is translationally invariant and obtains better accuracy on the ImageNet dataset without requiring spatial jittering of data compared to corresponding models trained with spatial jittering. Based on recent work [13, 28] we propose a technique to visualize pre-images, providing a means for understanding categorical properties that are captured by these representations. Finally, we show preliminary results on how a unified parametric model of texture analysis and synthesis can be used for attribute-based image manipulation, e.g. to make an image more swirly, honeycombed, or knitted. The source code and additional visualizations are available at http://vis-www.cs.umass.edu/texture

研究动机与目标

• 系统评估基于CNN的纹理描述符在识别任务中的表现，重点关注不变性与表征能力。
• 研究平移不变性在深度纹理表征中的作用，并与通过空间抖动进行数据增强的方法进行比较。
• 开发一种通过反演双线性CNN模型来可视化纹理类别预图像的方法。
• 探索使用统一的参数化模型进行纹理合成与基于属性的图像操作。
• 证明双线性CNN在无需空间抖动训练的情况下，可实现比标准CNN更高的准确率，凸显其不变性优势。

提出的方法

• 通过计算两个相同CNN（例如VGG-M）的特征图的外积，并应用平均池化，构建双线性CNN模型，以生成无序的、基于相关性的特征。
• 在ImageNet预训练权重初始化后，通过领域特定的微调训练模型，使其在纹理和场景识别任务中表现优异。
• 通过梯度下降反演双线性CNN模型，生成预图像——即最大化给定类别标签可能性的图像——采用多层优化过程。
• 使用一种参数化纹理合成框架，结合内容与纹理重建以及一个学习到的属性分类器，以实现对特定纹理属性的图像操作。
• 采用基于图像拼接（image quilting）的初始化方案，以加速收敛并减少反演过程中的结构伪影。
• 通过目标类别特征的加权组合，混合多个纹理类别，生成混合纹理，如在图像混合实验中所示。

实验结果

研究问题

• RQ1 双线性CNN-based纹理表征在纹理和场景数据集上的识别准确率，相较于其他基于CNN的描述符如何？
• RQ2 双线性特征中的平移不变性相较于依赖训练时空间抖动的模型，能在多大程度上提升性能？
• RQ3 双线性CNN的深层特征中编码了哪些类别化的纹理属性？它们如何被可视化？
• RQ4 双线性CNN模型能否用于基于高层纹理属性（如‘蜂窝状’或‘漩涡状’）的图像合成或操作？
• RQ5 不同网络层如何影响预图像重建与纹理合成的质量？

主要发现

• 双线性CNN模型在FMD、DTD、KTH-T2b和MIT Indoor场景数据集上达到最先进性能，优于Fisher向量CNN基线模型。
• 从零开始训练的双线性CNN在ImageNet上无需空间抖动即可达到比使用抖动训练的标准CNN更高的准确率，证明了其内置平移不变性的有效性。
• 预图像可视化显示，该模型捕捉到了丰富、清晰且类别特定的纹理属性——例如‘点状’纹理的多尺度点，‘书店’纹理的结构化布局——这些是简单平均无法获得的。
• 浅层保留颜色和细粒度纹理，而深层则失去颜色但保留结构语义；多层融合可提升重建质量。
• 反演过程生成的图像保真度高，能准确反映预期的纹理属性，例如使人脸图像呈现‘交织状’或‘针织状’，同时保持内容结构。
• 通过加权混合多个类别的特征（如‘蜂窝状’与‘漩涡状’）实现的混合纹理合成，可生成合理的过渡纹理，证实了模型参数化操控纹理属性的能力。