[论文解读] Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms

Xiao Han, Kashif Rasul+1 more|arXiv (Cornell University)|Aug 25, 2017

Advanced Neural Network Applications参考文献 3被引用 6,056

一句话总结

Fashion-MNIST 引入了 70,000 张 28x28 的灰度时尚图像，覆盖 10 个类别，作为 MNIST 的直接替代用于基准测试 ML 算法，并提供了跨多分类器的基线基准。

ABSTRACT

We present Fashion-MNIST, a new dataset comprising of 28x28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct drop-in replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at https://github.com/zalandoresearch/fashion-mnist

研究动机与目标

• 提供一个可直接替代 MNIST、对现代 ML 方法更具挑战性的基准数据集。
• 描述从 Zalando 时尚缩略图到 28x28 灰度图像 的数据处理流程。
• 建立初步分类基准以指导 Fashion-MNIST 上的算法选择。

提出的方法

• 使用 70,000 张图像（60,000 训练，10,000 测试），覆盖 10 类，每类 6,000 个训练样本。
• 通过转换流水线将 Zalando 前景缩略图处理为 28x28 灰度图像，并进行归一化等步骤。
• 在 5 折洗牌下对广泛的分类器（DT、RF、SVM、KNN、逻辑回归、MLP 等）进行评估，以生成平均测试准确率。
• 提供包含扩展基准结果和实验细节的公共仓库。

实验结果

研究问题

• RQ1 Fashion-MNIST 能否在增加分类难度的同时可靠地替代 MNIST 进行基准测试？
• RQ2 在类似的数据格式和拆分下，常见的 ML 算法在 Fashion-MNIST 上的表现如何与 MNIST 相比？
• RQ3 哪些基线性能范围可以引导未来在 Fashion-MNIST 上的算法开发？

主要发现

分类器	参数	Fashion	MNIST
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= best	0.798	0.873
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= random	0.792	0.861
DecisionTreeClassifier	criterion= entropy max_depth= 50 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= entropy max_depth= 100 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= gini max_depth= 10 splitter= best	0.788	0.866
GaussianNB	priors= [0.1 x10]	0.511	0.524
GradientBoostingClassifier	n_estimators= 100 loss= deviance max_depth= 10	0.880	0.969
GradientBoostingClassifier	n_estimators= 50 loss= deviance max_depth= 10	0.872	0.964
KNeighborsClassifier	weights= distance n_neighbors= 5 p= 1	0.854	0.959
KNeighborsClassifier	weights= distance n_neighbors= 9 p= 1	0.854	0.955
LinearSVC	loss= hinge C= 1 multi_class= ovr penalty= l2	0.836	0.917
SVC	C= 10 kernel= rbf	0.897	0.973
SVC	C= 10 kernel= poly	0.891	0.976
MLPClassifier	activation= relu hidden_layer_sizes= [100]	0.871	0.972
RandomForestClassifier	n_estimators= 100 criterion= entropy max_depth= 100	0.873	0.970
RandomForestClassifier	n_estimators= 100 criterion= gini max_depth= 100	0.872	0.970
SVC	C= 100 kernel= rbf	0.890	0.972

• Fashion-MNIST 在保持与 MNIST 兼容的数据格式和拆分的同时，完成比 MNIST 更具挑战性的任务。
• 评估了广泛的分类器，显示在不同家族（基于树、SVM、KNN、逻辑回归、神经网络）之间性能差异。
• GradientBoosting、RandomForest 和 SVC 的变体在 Fashion-MNIST 上取得了高准确率，说明通过适当调参具备很强的性能潜力。
• 该数据集设计为可以很容易地替代现有 ML 流水线中的 MNIST，从而实现快速的基准测试采用。