[论文解读] Do CIFAR-10 Classifiers Generalize to CIFAR-10?

Benjamin Recht, Rebecca Roelofs+2 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Neural Network Applications参考文献 2被引用 133

一句话总结

本文提出了一个全新的、真正未见过的 CIFAR-10 测试集，并在广泛的模型范围内展示了准确率的大幅下降（4–10%），而相对模型排名保持相似；作者认为这一下降反映的是良性分布转移，而非测试集过拟合。

ABSTRACT

Machine learning is currently dominated by largely experimental work focused on improvements in a few key tasks. However, the impressive accuracy numbers of the best performing models are questionable because the same test sets have been used to select these models for multiple years now. To understand the danger of overfitting, we measure the accuracy of CIFAR-10 classifiers by creating a new test set of truly unseen images. Although we ensure that the new test set is as close to the original data distribution as possible, we find a large drop in accuracy (4% to 10%) for a broad range of deep learning models. Yet more recent models with higher original accuracy show a smaller drop and better overall performance, indicating that this drop is likely not due to overfitting based on adaptivity. Instead, we view our results as evidence that current accuracy numbers are brittle and susceptible to even minute natural variations in the data distribution.

研究动机与目标

• 评估 CIFAR-10 分类器是否通过重复评估对原始测试集产生过拟合效应。
• 创建一个与 CIFAR-10 分布高度匹配的新测试集，以衡量真正的泛化能力。
• 在广泛的模型范围内量化原始测试集与新测试集之间的准确率差距。
• 探究差距的潜在原因，以及超参数调优或数据泄露是否能解释它。
• 讨论在分布转移下评估 ML 进展与泛化的含义。

提出的方法

• 从相同的 Tiny Images 关键词中筛选图片， curate 一个子类分布与 CIFAR-10 相匹配的 2,000–4,000 张图片的测试集。
• 在原始和新测试集上评估跨越 CIFAR-10 研究年代的 30 个图像分类器。
• 使用线性拟合和简单的混合分布推理分析准确率差距和模型排名变化。
• 测试包括统计误差、近重复项移除效应、超参数调优和难样本检查等假设。
• 进行交叉验证和轻量再训练实验，以探查数据集之间的分布相似性。

实验结果

研究问题

• RQ1 新收集的、真正未见过的 CIFAR-10 测试集是否比原始测试集揭示了 CIFAR-10 分类器的更低准确率？
• RQ2 在新测试集上评估时，模型的相对排名是否保持稳定？
• RQ3 是什么机制（如分布转移、超参数调优）解释原始测试集与新测试集之间的准确率差距？
• RQ4 在原始数据上进行模型再训练或交叉验证是否能预测新测试集上的表现？

主要发现

• 在新测试集上对所有深度模型进行评估时，准确率有显著的绝对下降（例如 VGG/ResNet 从 ~93% 降至 ~85%；Shake-Shake 顶部模型从 97% 降至 ~93%）。
• 模型的相对排序大体保持不变；一个线性关系大致将原始准确率映射到新准确率（acc_new ≈ 1.62·acc_orig − 65.51%）。
• 某些技术（如 Cutout 增强）在新测试集上的增益大于在原始测试集上的增益，表明存在差异化的迁移效应。
• 超参数调优在新测试集上最多获得适度提升（在他们的实验中最大提升约 0.6–1%）。
• 观察到的差距并非简单统计误差或广泛的近重复泄漏所致；有证据支持一种良性分布转移的存在，而非测试集过拟合。
• 在原始 CIFAR-10 数据上的交叉验证对新测试集产生了稳定的预测，表明该转移并非由于分布性变化极大。