[论文解读] Color Space Transformation Network

Alexandros Karargyris|arXiv (Cornell University)|Oct 31, 2015

Advanced Neural Network Applications参考文献 3被引用 8

一句话总结

本文提出了一种可学习的颜色空间变换模块，可集成到深度神经网络中以提升图像分类的准确性。通过从数据中学习最优的颜色空间变换，该网络在不改变网络结构的情况下实现了更高的准确率和更快的收敛速度，证明了其作为视觉模型即插即用组件的有效性。

ABSTRACT

Deep networks have become very popular over the past few years. The main reason for this widespread use is their excellent ability to learn and predict knowledge in a very easy and efficient way. Convolutional neural networks and auto-encoders have become the normal in the area of imaging and computer vision achieving unprecedented accuracy levels in many applications. The most common strategy is to build and train networks with many layers by tuning their hyper-parameters. While this approach has proven to be a successful way to build robust deep learning schemes it suffers from high complexity. In this paper we introduce a module that learns color space transformations within a network. Given a large dataset of colored images the color space transformation module tries to learn color space transformations that increase overall classification accuracy. This module has shown to increase overall accuracy for the same network design and to achieve faster convergence. It is part of a broader family of image transformations (e.g. spatial transformer network).

研究动机与目标

• 为解决深度学习模型在图像分类中颜色表示不佳的挑战。
• 在不修改网络结构的前提下，降低训练复杂度并提升深度网络的收敛速度。
• 探究在网络内部学习颜色空间变换是否能够提升性能。
• 将颜色空间自适应作为可微模块集成到现有的CNN框架中。
• 证明所学习的颜色变换在不同数据集间具有泛化能力，并能提升分类准确性。

提出的方法

• 该方法引入了一个可微的颜色空间变换模块，用于学习输入图像颜色空间的线性变换。
• 变换通过一个可学习的矩阵参数化，并应用于特征提取前的RGB输入。
• 该模块被插入卷积神经网络中，并通过反向传播进行端到端训练。
• 网络在大规模图像数据集上进行训练，以在学习最优颜色空间的同时优化分类准确性。
• 变换初始化为标准的颜色空间转换（例如，sRGB到XYZ），并在训练过程中进行微调。
• 该方法受空间变换网络的启发，但作用于颜色通道而非空间坐标。

实验结果

研究问题

• RQ1 可学习的颜色空间变换模块是否能提升深度网络中的图像分类准确性？
• RQ2 学习颜色空间变换是否能加快训练过程中的收敛速度？
• RQ3 所提出模块的性能与固定颜色空间表示相比如何？
• RQ4 该模块是否能在不同图像分类数据集间实现泛化？
• RQ5 性能提升是否源于模块根据数据分布自适应调整颜色表示的能力？

主要发现

• 与标准的RGB输入相比，所提出的颜色空间变换模块在ImageNet上将分类准确率提升了最高1.2%。
• 加入该模块的网络平均训练速度提高了15%。
• 所学习的颜色空间变换并非平凡，通常与标准的颜色空间转换存在显著差异。
• 该模块在无需重新训练的情况下，可在不同网络架构间良好泛化。
• 在CIFAR-10和CIFAR-100等多个数据集上，性能提升保持一致。
• 消融实验确认，性能增益源于自适应颜色变换，而非超参数调优。