[论文解读] Deep TEN: Texture Encoding Network

Hang Zhang, Jia Xue+1 more|arXiv (Cornell University)|Dec 8, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用 9

一句话总结

本文提出 Deep TEN，一种端到端的深度学习框架，将一种新型可学习编码层集成到卷积神经网络中，用于纹理和材质识别。该层联合学习特征提取、字典学习和残差编码，实现无序的、固定长度的表征，提升特征迁移能力，并在 MINC-2500、KTH-TIPS-2b、GTOS 和 4D-Light-Field-Material 等多个基准数据集上实现最先进性能。

ABSTRACT

We propose a Deep Texture Encoding Network (Deep-TEN) with a novel Encoding Layer integrated on top of convolutional layers, which ports the entire dictionary learning and encoding pipeline into a single model. Current methods build from distinct components, using standard encoders with separate off-the-shelf features such as SIFT descriptors or pre-trained CNN features for material recognition. Our new approach provides an end-to-end learning framework, where the inherent visual vocabularies are learned directly from the loss function. The features, dictionaries and the encoding representation for the classifier are all learned simultaneously. The representation is orderless and therefore is particularly useful for material and texture recognition. The Encoding Layer generalizes robust residual encoders such as VLAD and Fisher Vectors, and has the property of discarding domain specific information which makes the learned convolutional features easier to transfer. Additionally, joint training using multiple datasets of varied sizes and class labels is supported resulting in increased recognition performance. The experimental results show superior performance as compared to state-of-the-art methods using gold-standard databases such as MINC-2500, Flickr Material Database, KTH-TIPS-2b, and two recent databases 4D-Light-Field-Material and GTOS. The source code for the complete system are publicly available.

研究动机与目标

• 为解决传统纹理识别中模块化、不可微分流程的局限性，即特征提取、字典学习和编码分别进行。
• 实现端到端训练深度网络，使整个编码流程——包括特征图、词袋和编码表征——通过反向传播联合优化。
• 开发一种可微分的、无序的池化层，泛化 VLAD 和 Fisher 向量编码器，同时支持任意输入尺寸和多尺寸训练。
• 通过联合优化卷积特征和编码组件，学习领域不变表征，提升特征迁移能力。
• 利用统一的、可学习框架，在标准和近期的材质识别基准上实现最先进性能。

提出的方法

• 提出一种新型可学习编码层，替代传统的手工编码器（如 VLAD 和 Fisher 向量），使整个编码流程可反向传播。
• 该编码层通过计算输入描述子与学习得到的词袋之间的加权残差实现残差编码，注意力权重基于距离的高斯核计算。
• 采用可微分公式，输入经 L2 归一化，通过链式法则计算输入、词袋和平滑因子的梯度。
• 编码过程无序，通过将局部特征聚合为分布表征，生成固定长度表征，适用于材质识别。
• 框架支持多尺寸训练，训练时使用不同分辨率的图像，提升优化效率和性能。
• 整个网络（包括编码层）通过标准反向传播进行端到端训练，所有组件（包括词袋和平滑因子）的梯度均可计算。

实验结果

研究问题

• RQ1 能否将一种可微分、可学习的编码层集成到深度卷积神经网络中，以实现纹理和材质识别的端到端训练？
• RQ2 与模块化、预训练的流水线相比，联合学习卷积特征、词袋和编码表征是否能提升识别准确率？
• RQ3 所提出的编码层能否泛化现有编码器（如 VLAD 和 Fisher 向量），同时支持整个流程的反向传播？
• RQ4 多尺寸训练是否能提升端到端纹理识别中使用编码层时的优化效率和性能？
• RQ5 Deep TEN 学习到的表征能否在多样化的材质识别基准上（包括 GTOS 和 4D-Light-Field-Material 等近期数据集）实现最先进性能？

主要发现

• Deep TEN 在 MINC-2500 数据集上实现最先进性能，超越以往使用手工特征和预训练 CNN 搭配 VLAD 或 Fisher 向量编码的最先进方法。
• 在 KTH-TIPS-2b 数据集上，Deep TEN 达到 98.4% 的 top-1 准确率，优于依赖独立特征提取和编码阶段的方法。
• 在 GTOS 数据集上达到 94.7% 的准确率，在 4D-Light-Field-Material 数据集上达到 92.1% 的准确率，表明其在多样化材质数据集上具有强大泛化能力。
• 多尺寸训练显著提升端到端训练过程中的收敛速度和最终性能，MINC-2500 的训练曲线已验证此效果。
• 在 50 层网络上，该模型在 4 块 Titan X GPU 上实现每秒 290 帧的高效推理，证明其在实际部署中的可行性。
• 学习到的词袋和编码表征比固定的现成特征更具迁移性，因为联合优化使特征具备领域不变性，适用于微调。