[论文解读] CINIC-10 is not ImageNet or CIFAR-10

Luke Nicholas Darlow, Elliot J. Crowley+2 more|arXiv (Cornell University)|Oct 2, 2018

Image Retrieval and Classification Techniques被引用 168

一句话总结

CINIC-10 在 CIFAR-10 的基础上加入经过下采样的 ImageNet 图像，形成一个更大、分割相等的数据集，作为 CIFAR-10 的替代方案，同时引入 CIFAR 与 ImageNet 样本之间的分布漂移。

ABSTRACT

In this brief technical report we introduce the CINIC-10 dataset as a plug-in extended alternative for CIFAR-10. It was compiled by combining CIFAR-10 with images selected and downsampled from the ImageNet database. We present the approach to compiling the dataset, illustrate the example images for different classes, give pixel distributions for each part of the repository, and give some standard benchmarks for well known models. Details for download, usage, and compilation can be found in the associated github repository.

研究动机与目标

• 通过提供一个更大、难度适中的数据集，超越 CIFAR-10 和 ImageNet 来推动基准测试。
• 描述一种通过用 ImageNet 衍生图像来扩充 CIFAR-10 以构建 CINIC-10 的方法。
• 描述 CIFAR 与 ImageNet 样本之间的分布差异。
• 提供标准基准以在 CINIC-10 上建立基线性能。

提出的方法

• 将 CIFAR-10 图像重新格式化为 PNG，并创建等量的训练/验证/测试拆分，每集包含 20,000 张 CIFAR-10 图像。
• 识别并使用 ImageNet Fall 2011 中与 CIFAR-10 类相对应的同义词集（synset）。
• 将 ImageNet 的 JPEG 转换为 32×32 彩色图像，并从同义词组中随机抽取每个类别 21,000 张图像来扩充 CIFAR-10。
• 将这 21000 张 ImageNet 样本分配到训练/验证/测试集，并用编码来源和同义词集信息的文件名来表示。
• 提供用法指南以及带有归一化均值和方差的 PyTorch 数据加载示例。

实验结果

研究问题

• RQ1 就数据集大小和类分布而言，CINIC-10 与 CIFAR-10 和 ImageNet 有何差异？
• RQ2 在使用 CIFAR-10 图像训练、在 CINIC-10（ImageNet 贡献样本）上测试时，分布漂移的影响是什么？
• RQ3 使用标准架构在 CINIC-10 上可以预期的基线模型性能是多少？
• RQ4 在可比预处理的前提下，CINIC-10 是否可以作为 CIFAR-10 的实际替代品？

主要发现

Model	No. Parameters	Test Error
VGG-16	14.7M	12.23 ± 0.16
ResNet-18	11.2M	9.73 ± 0.05
GoogLeNet	6.2M	8.83 ± 0.12
ResNeXt29_2x64d	9.2M	8.55 ± 0.15
DenseNet-121	7.0M	8.74 ± 0.16
MobileNet	3.2M	18.00 ± 0.16

• CINIC-10 包含 270,000 张图像，60,000 张 CIFAR-10 图像以及 210,000 张 ImageNet 派生图像，且训练/验证/测试拆分大小相等。
• 每个类别在每个拆分中有 9,000 张图像，总计三次拆分中每个类别 27,000 张。
• CINIC-10 图像在 CIFAR 与 ImageNet 样本之间呈现分布漂移，颜色分布相似但不完全相同。
• 标准模型在 CINIC-10 上的基准结果（测试误差）包括：VGG-16 12.23% ± 0.16，ResNet-18 9.73% ± 0.05，GoogLeNet 8.83% ± 0.12，ResNeXt29_2x64d 8.55% ± 0.15，DenseNet-121 8.74% ± 0.16，MobileNet 18.00% ± 0.16。