[论文解读] A Downsampled Variant of ImageNet as an Alternative to the CIFAR datasets

Patryk Chrabąszcz, Ilya Loshchilov+1 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Neural Network Applications参考文献 9被引用 371

一句话总结

本文提出了下采样的 ImageNet 变体（ImageNet16x16/32x32/64x64），以便在保持类别数量的同时加速实验，并显示在不同尺寸下的超参数区间相近，同时展示 Wide ResNets 的强大性能。

ABSTRACT

The original ImageNet dataset is a popular large-scale benchmark for training Deep Neural Networks. Since the cost of performing experiments (e.g, algorithm design, architecture search, and hyperparameter tuning) on the original dataset might be prohibitive, we propose to consider a downsampled version of ImageNet. In contrast to the CIFAR datasets and earlier downsampled versions of ImageNet, our proposed ImageNet32$ imes$32 (and its variants ImageNet64$ imes$64 and ImageNet16$ imes$16) contains exactly the same number of classes and images as ImageNet, with the only difference that the images are downsampled to 32$ imes$32 pixels per image (64$ imes$64 and 16$ imes$16 pixels for the variants, respectively). Experiments on these downsampled variants are dramatically faster than on the original ImageNet and the characteristics of the downsampled datasets with respect to optimal hyperparameters appear to remain similar. The proposed datasets and scripts to reproduce our results are available at http://image-net.org/download-images and https://github.com/PatrykChrabaszcz/Imagenet32_Scripts

研究动机与目标

• 通过对 ImageNet 进行下采样来提供更便宜、可扩展的基准测试，同时保持原始的类别数量和图像数量。
• 评估下采样是否保留关键的学习动力学和超参数敏感性。
• 评估网络宽度和学习率如何与下采样分辨率互动，以指导经济高效的实验。

提出的方法

• 通过对原始 ImageNet 图像进行下采样，同时保持类别标签和图像数量，来创建 ImageNet32x32、ImageNet64x64 和 ImageNet16x16。
• 使用适应下采样图像的标准 CIFAR 型配置训练 Wide Residual Networks (WRN-N-k)。
• 比较六种下采样方法（bicubic、bilinear、box、hamming、lanczos、nearest），并指出最近邻在所有实验中表现较差。
• 使用数据增强（水平翻转、随机平移）以及带动量和计划学习率下降的标准 SGD。
• 在多种网络宽度和下采样分辨率下评估性能，以评估对更大模型的可迁移性。

实验结果

研究问题

• RQ1 将 ImageNet 下采样为 32x32（及变体 16x16/64x64）是否会保留不同架构和超参数的相对性能？
• RQ2 网络宽度（k）与下采样分辨率如何影响准确性和训练时间？
• RQ3 下采样 ImageNet 的结果是否能预测全尺寸 ImageNet 的结果，从而实现经济的架构/超参数搜索？
• RQ4 哪种下采样技术在下采样的 ImageNet 上最有效地保留用于分类的信息？

主要发现

• 下采样技术在结果上相似，唯独最近邻在所有实验中表现较差。
• Wide ResNets 在 ImageNet32x32 上实现强劲性能，尽管每张图像的像素显著更少，接近 AlexNet 的原始 ImageNet 结果。
• 增加网络宽度在所有下采样尺寸下都提升了性能；更大的 k 产生更好的结果。
• 最优学习率区域在 ImageNet16x16、ImageNet32x32 和 ImageNet64x64 之间，以及在不同宽度下，都是相似的。
• 性能与训练时间的权衡表明，结合下采样和网络规模以实现最佳随时性能。
• 这些发现有望推广到更昂贵的设定，使得架构/超参数搜索可以使用更便宜的代理。