[논문 리뷰] Cold Case: The Lost MNIST Digits

Chhavi Yadav, Léon Bottou|arXiv (Cornell University)|2019. 05. 25.

Machine Learning and Data Classification참고 문헌 10인용 수 39

한 줄 요약

저자들은 MNIST 전처리 파이프라인을 재구성하여 손실된 50,000 MNIST 테스트 숫자를 회복하고 메타데이터와 매핑해 반복된 테스트 세트 사용에서 분류기 성능 및 모델 선택의 제어 가능한 비교를 가능하게 한다.

ABSTRACT

Although the popular MNIST dataset [LeCun et al., 1994] is derived from the NIST database [Grother and Hanaoka, 1995], the precise processing steps for this derivation have been lost to time. We propose a reconstruction that is accurate enough to serve as a replacement for the MNIST dataset, with insignificant changes in accuracy. We trace each MNIST digit to its NIST source and its rich metadata such as writer identifier, partition identifier, etc. We also reconstruct the complete MNIST test set with 60,000 samples instead of the usual 10,000. Since the balance 50,000 were never distributed, they enable us to investigate the impact of twenty-five years of MNIST experiments on the reported testing performances. Our results unambiguously confirm the trends observed by Recht et al. [2018, 2019]: although the misclassification rates are slightly off, classifier ordering and model selection remain broadly reliable. We attribute this phenomenon to the pairing benefits of comparing classifiers on the same digits.

연구 동기 및 목표

• NIST으로부터 MNIST 전처리 단계를 재구성하여 각 MNIST 숫자를 원래의 NIST 소스와 메타데이터에 매핑합니다.
• MNIST 학습 세트를 재구성하고 60,000 샘플의 전체 테스트 세트를 다시 만듭니다. 여기에는 손실된 50,000 테스트 숫자가 포함됩니다.
• 재구성된 데이터가 공식 MNIST 샘플과 얼마나 잘 일치하는지 평가하고 성능 추세에 대한 테스트 세트 재사용의 영향을 연구합니다.
• 쌍 비교 및 엄밀한 신뢰 구간을 사용하여 MNIST, QMNIST10K, QMNIST50K 간의 분류기 성능을 조사합니다.

제안 방법

• 중심 질량 중심화(cen-ter-of-gravity) 정렬, 자르기 및 픽셀 중첩 리샘플링 접근 방식을 활용하여 MNIST 숫자와 가능한 한 근접하도록 초점 맞춘 이미지 재구성 파이프라인(QMNIST 변형)을 반복적으로 개선합니다.
• L2 및 L-무한 거리 및 정렬 확인으로 재구성 품질을 정량화하며 간헐적인 한 픽셀 이동도 포함합니다.
• MNIST 및 QMNIST 학습 세트에서 여러 모델(KNN, SVM, MLP, CNN)을 훈련하고 MNIST, QMNIST10K, QMNIST50K에서 테스트합니다.
• Wald 신뢰 구간 및 짝 차이 검정을 사용하여 통계적 유의성을 평가하고 반복된 테스트 세트 사용을 보정합니다.

실험 결과

연구 질문

• RQ1 손실된 MNIST 50,000 테스트 숫자를 재구성하여 테스트 세트 대체로 충분히 근접하게 사용할 수 있을 만큼의 정확성을 확보할 수 있는가?
• RQ2 여러 모델에 걸친 테스트 세트 재사용이 보고된 성능 및 모델 선택에 어떤 영향을 미치며 짝 비교가 이 효과를 완화할 수 있는가?
• RQ3 MNIST에서의 분류기 순위가 재구성된 동등물(QMNIST) 및 재구성된 50k 테스트 숫자에서 평가될 때 지속되는가?
• RQ4 MNIST 전처리(센터링, 재샘플링, 앤티앨리어싱)에서 어떤 체계적 아티팩트가 존재하며 이것이 후속 성능에 어떤 영향을 미치는가?
• RQ5 현대 모델(KNN, SVM, MLP, VGG-11, ResNet-18, TF-KR MNIST 모델)이 MNIST와 그 재구성 간에 어떤 순위를 형성하는가?

주요 결과

• 재구성된 6만 개 학습 세트와 6만 개 테스트 세트는 공식 MNIST 샘플과 거의 비례하며, 중심 이동으로 인한 QMNIST 학습 이미지에서 약 0.25%의 미일치가 발생합니다.
• MNIST 대 QMNIST를 대상으로의 학습은 MNIST 테스트 및 QMNIST10K에서 유사한 성능을 보이며, QMNIST50K(재구성된 손실 digits)에서는 소폭 저하가 나타납니다.
• 가장 성능이 뛰어난 MNIST 모델은 일반적으로 QMNIST50K에서도 강한 성능 순서를 유지하여 재구성의 불완전성이 있어도 분류기 순위가 보존됩니다.
• 신뢰구간 및 짝 차이 분석은 표준 테스트 세트 회전 문제가 존재함을 확인하되 예상보다 심각하지 않으며, 짝짓기가 모델 선택에 도움이 됩니다.
• KNN, SVM, MLP 및 CNN 변형 전반에서 MNIST 순위는 QMNIST50K 성능을 거의 예측하지만 재구성된 50k 세트에서 절대 오류율은 약간 더 큽니다.