[论文解读] ColorNet: Investigating the importance of color spaces for image classification

Shreyank N Gowda, Chun Yuan|arXiv (Cornell University)|Feb 1, 2019

Brain Tumor Detection and ClassificationNeuroscience被引用 22

一句话总结

ColorNet 提出了一种新颖的图像分类框架，通过七个不同的色彩空间——RGB、HSV、LAB、YUV、YCbCr、YIQ 和 HED——同时处理单张 RGB 图像，每个色彩空间使用独立的小型、宽层 DenseNet 进行处理。通过融合这些针对特定色彩空间的分支预测结果，该模型在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上实现了最先进（SOTA）的准确率，参数量仅为 175 万，优于参数量更大的模型如 DenseNet-BC-190-40（2560 万参数）。

ABSTRACT

Image classification is a fundamental application in computer vision. Recently, deeper networks and highly connected networks have shown state of the art performance for image classification tasks. Most datasets these days consist of a finite number of color images. These color images are taken as input in the form of RGB images and classification is done without modifying them. We explore the importance of color spaces and show that color spaces (essentially transformations of original RGB images) can significantly affect classification accuracy. Further, we show that certain classes of images are better represented in particular color spaces and for a dataset with a highly varying number of classes such as CIFAR and Imagenet, using a model that considers multiple color spaces within the same model gives excellent levels of accuracy. Also, we show that such a model, where the input is preprocessed into multiple color spaces simultaneously, needs far fewer parameters to obtain high accuracy for classification. For example, our model with 1.75M parameters significantly outperforms DenseNet 100-12 that has 12M parameters and gives results comparable to Densenet-BC-190-40 that has 25.6M parameters for classification of four competitive image classification datasets namely: CIFAR-10, CIFAR-100, SVHN and Imagenet. Our model essentially takes an RGB image as input, simultaneously converts the image into 7 different color spaces and uses these as inputs to individual densenets. We use small and wide densenets to reduce computation overhead and number of hyperparameters required. We obtain significant improvement on current state of the art results on these datasets as well.

研究动机与目标

• 探究不同色彩空间是否对图像分类性能产生显著影响。
• 确定某些色彩空间是否对特定图像类别或数据集更为适用。
• 通过利用多色彩空间输入，在降低模型复杂度的同时保持或提升准确率。
• 探索在特征学习之前进行早期色彩空间转换是否能改善表示学习。
• 通过在单一架构中融合多种色彩空间表示，构建轻量化但高准确率的模型。

提出的方法

• 模型以单张 RGB 图像作为输入，同时将其转换为七种不同的色彩空间：RGB、HSV、LAB、YUV、YCbCr、YIQ 和 HED。
• 每种色彩空间的表示分别输入到独立的小型宽层 DenseNet（DenseNet-40-12）中，以独立提取特征。
• 所有七个 DenseNet 的输出通过拼接方式融合，并送入最终的全连接层进行加权融合与最终分类。
• 采用小型且宽层的 DenseNet 可减少参数量与超参数数量，同时缓解梯度消失与过拟合问题。
• 色彩空间转换通过标准数学公式实现，包括 sRGB 的线性化，以及通过矩阵乘法将颜色转换为 CIE XYZ 和 LAB。
• 最终预测通过平均或学习加权方式融合各分支输出获得。

实验结果

研究问题

• RQ1 色彩空间的选择如何影响在多样化数据集上的图像分类准确率？
• RQ2 与仅使用 RGB 相比，融合多种色彩空间表示是否能提升分类性能？
• RQ3 是否存在对特定图像类别或数据集特征更有效的色彩空间？
• RQ4 通过多色彩空间输入，能在多大程度上减少模型尺寸，同时保持或提升准确率？
• RQ5 与直接处理原始 RGB 图像相比，早期进行色彩空间转换是否能带来更好的特征学习？

主要发现

• ColorNet-121 在 ImageNet 上实现了 17.65% 的 top-1 错误率与 5.22% 的 top-5 错误率，创下当时新的最先进水平。
• 仅含 175 万参数的 ColorNet-40-12 在 SVHN 上优于参数量达 1530 万的 DenseNet-BC-250-24，错误率低至 1.59%。
• ColorNet-40-48 在 SVHN 上实现了 1.12% 的错误率，创下该数据集的新最先进水平。
• 该模型显著超越了更大参数量的模型：例如，ColorNet-40-12 在 CIFAR-100 上以更少参数超越了参数量达 2560 万的 DenseNet-BC-190-40。
• 混淆矩阵分析表明，某些类别在特定色彩空间中分类效果更优，验证了多色彩空间融合策略的有效性。
• 研究发现 LCH、YPbPr 和 XYZ 等色彩空间会降低性能，因此未被纳入最终模型。