[論文レビュー] Cold Case: The Lost MNIST Digits

Chhavi Yadav, Léon Bottou|arXiv (Cornell University)|May 25, 2019

Machine Learning and Data Classification参考文献 10被引用数 39

ひとこと要約

著者らはMNIST前処理パイプラインを再構築し、失われた50,000個のMNISTテストデータを回収し、メタデータとペアリングして、繰り返しのテストセット使用における分類器性能とモデル選択の比較を制御可能にする。

ABSTRACT

Although the popular MNIST dataset [LeCun et al., 1994] is derived from the NIST database [Grother and Hanaoka, 1995], the precise processing steps for this derivation have been lost to time. We propose a reconstruction that is accurate enough to serve as a replacement for the MNIST dataset, with insignificant changes in accuracy. We trace each MNIST digit to its NIST source and its rich metadata such as writer identifier, partition identifier, etc. We also reconstruct the complete MNIST test set with 60,000 samples instead of the usual 10,000. Since the balance 50,000 were never distributed, they enable us to investigate the impact of twenty-five years of MNIST experiments on the reported testing performances. Our results unambiguously confirm the trends observed by Recht et al. [2018, 2019]: although the misclassification rates are slightly off, classifier ordering and model selection remain broadly reliable. We attribute this phenomenon to the pairing benefits of comparing classifiers on the same digits.

研究の動機と目的

• NISTからMNIST前処理ステップを再構築し、各MNISTデジットを元のNISTソースとメタデータにマッピングする。
• MNISTの訓練セットを再構築し、60,000サンプルのテストセットを完全再現し、失われた50,000個のテストデータを含める。
• 再構築データが公式MNISTサンプルとどの程度一致するかを評価し、性能トレンドに対するテストセット再利用の影響を研究する。
• ペア比較と厳密な信頼区間を用いて、MNIST、QMNIST10K、QMNIST50Kにおける分類器性能を調査する。

提案手法

• 中心重心化センタリング、クロッピング、およびピクセルオーバーラップリサンプリングアプローチを用いて、MNISTデジタルに密接に適合するようにQMNIST系変種の画像再構築パイプラインを反復的に改善する。
• 再構築品質をL2およびL無限大距離と整列チェックで定量化し、時には1ピクセルのずれを含める。
• 複数のモデル（KNN、SVM、MLP、CNN）をMNISTおよびQMNIST訓練セットで訓練・評価し、MNIST、QMNIST10K、QMNIST50Kでテストする。
• 再構成されたデータに対して統計的有意性を評価し、繰り返しのテストセット使用を考慮して、Wald信頼区間とペア差検定を用いる。

実験結果

リサーチクエスチョン

• RQ1 失われたMNISTの50,000テストデータは、正当なテストセットの置換として十分近似して再構成できるか。
• RQ2 多くのモデルに跨ってテストセットを再利用することで報告される性能とモデル選択にどのような影響があり、ペア比較はこれらの影響を緩和できるか。
• RQ3 MNISTでの分類器のランキングは、再構成された同等物（QMNIST）および再構成された50kのテストデータで評価した場合も維持されるか。
• RQ4 MNIST前処理（センタリング、リサンプリング、アンチエイリアシング）に存在する体系的アーティファクトは何で、それらは下流の性能にどのような影響を与えるか。
• RQ5 現代的なモデル（KNN、SVM、MLP、VGG-11、ResNet-18、TF-KR MNISTモデル）がMNISTとその再構成でどのようにランク付けされるか。

主な発見

• 再構築された60k訓練データと60kテストデータは公式のMNISTサンプルに非常に近似しており、QMNIST訓練画像の約0.25%でセンタリングのずれによる小さな不整合がある。
• MNISTでの訓練とQMNISTでの訓練は、MNISTテストとQMNIST10Kで類似した性能を示す一方、QMNIST50K（再構成された失われたデータ）ではやや劣化する。
• 最も性能の高いMNISTモデルは一般にQMNIST50Kでも強い性能順序を保持しており、再構成の不完全さにも関わらず分類器のランキングが保存されていることを示す。
• 信頼区間およびペア差検定の分析は、標準的なテストセット回転問題が存在することを確認するが、それは予想されるほど深刻ではなく、ペアリングがモデル選択を支援する。
• KNN、SVM、MLP、CNN系統を跨いで、MNISTのランキングがQMNIST50Kの性能をほぼ予測するが、再構成された50kセットでは絶対誤差率がわずかに高い。