[论文解读] Cold Case: The Lost MNIST Digits

Chhavi Yadav, Léon Bottou|arXiv (Cornell University)|May 25, 2019

Machine Learning and Data Classification参考文献 10被引用 39

一句话总结

作者重建 MNIST 预处理流水线，以找回丢失的 50,000 个 MNIST 测试数字，并将其与元数据配对，从而在重复测试集使用中对分类器性能和模型选择进行受控比较。

ABSTRACT

Although the popular MNIST dataset [LeCun et al., 1994] is derived from the NIST database [Grother and Hanaoka, 1995], the precise processing steps for this derivation have been lost to time. We propose a reconstruction that is accurate enough to serve as a replacement for the MNIST dataset, with insignificant changes in accuracy. We trace each MNIST digit to its NIST source and its rich metadata such as writer identifier, partition identifier, etc. We also reconstruct the complete MNIST test set with 60,000 samples instead of the usual 10,000. Since the balance 50,000 were never distributed, they enable us to investigate the impact of twenty-five years of MNIST experiments on the reported testing performances. Our results unambiguously confirm the trends observed by Recht et al. [2018, 2019]: although the misclassification rates are slightly off, classifier ordering and model selection remain broadly reliable. We attribute this phenomenon to the pairing benefits of comparing classifiers on the same digits.

研究动机与目标

• From NIST 重建 MNIST 预处理步骤，以将每个 MNIST 数字映射到其原始 NIST 来源及元数据。
• 重建 MNIST 训练集并重新创建完整的 60,000 样本测试集，包括那 50,000 个丢失的测试数字。
• 评估重建的数据与官方 MNIST 样本的匹配程度，并研究测试集重用对性能趋势的影响。
• 使用配对比较和严格的置信区间，研究在 MNIST、QMNIST10K 和 QMNIST50K 上的分类器性能。

提出的方法

• 迭代改进图像重建流水线（QMNIST 变体），通过重心居中、裁剪和像素重叠重采样方法，使其尽可能接近 MNIST 数字。
• 用 L2 和 L∞ 距离以及对齐检查来量化重建质量，并包括偶发的一像素位移。
• 在 MNIST 和 QMNIST 训练集上训练并评估多种模型（KNN、SVM、MLP、CNN），并在 MNIST、QMNIST10K 和 QMNIST50K 上进行测试。
• 使用 Wald 置信区间和配对差异检验来评估统计显著性，并考虑重复测试集使用的影响。

实验结果

研究问题

• RQ1 丢失的 MNIST 50,000 测试数字是否能被重构得足够接近，以作为有效的测试集替代？
• RQ2 在许多模型之间重复使用测试集如何影响报告的性能和模型选择？配对比较能否缓解这些影响？
• RQ3 在经过重构的等价物（QMNIST）和重构的 50k 测试数字上进行评估时，分类器在 MNIST 上的排序是否仍然存在？
• RQ4 MNIST 预处理中的哪些系统性伪影（居中、重采样、抗锯齿等）存在，它们如何影响下游性能？
• RQ5 现代模型（KNN、SVM、MLP、VGG-11、ResNet-18、TF-KR MNIST 模型）在 MNIST 及其重建版本上的排名如何？

主要发现

• 重建的 60k 训练集和 60k 测试集与官方 MNIST 样本高度相似，约有 0.25% 的 QMNIST 训练图像因居中位移存在轻微错位。
• 在 MNIST 与 QMNIST 上的训练在 MNIST 测试和 QMNIST10K 上产生可比的性能，但在 QMNIST50K 上略有下降（重构的丢失数字）。
• 表现最好的 MNIST 模型通常在 QMNIST50K 上保持强劲的性能排序，表明尽管存在重构不完美，分类器排序仍得以保留。
• 置信区间和配对差异分析证实标准测试集旋转问题确实存在，但没有想象中那么严重，配对有助于模型选择。
• 在 KNN、SVM、MLP 和 CNN 变体中，MNIST 的排序能较好预测 QMNIST50K 的性能，尽管在重构的 50k 集上绝对错误率略高。