[論文レビュー] Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms

Xiao Han, Kashif Rasul+1 more|arXiv (Cornell University)|Aug 25, 2017

Advanced Neural Network Applications参考文献 3被引用数 6,056

ひとこと要約

Fashion-MNIST は 70,000 個の 28x28 グレースケールのファッション画像を 10 クラスにわたって導入し、機械学習アルゴリズムのベンチマークのための MNIST のドロップイン置換として機能させ、複数の分類器にわたる提供されたベースライン ベンチマークを備えています。

ABSTRACT

We present Fashion-MNIST, a new dataset comprising of 28x28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct drop-in replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at https://github.com/zalandoresearch/fashion-mnist

研究の動機と目的

• MNIST と互換性のある、現代の ML 手法にとってより難解なドロップインのベンチマークデータセットを提供する。
• Zalando ファッションのサムネイルから 28x28 グレースケール画像へのデータパイプラインを説明する。
• Fashion-MNIST に対するアルゴリズム選択を導くための予備的な分類ベンチマークを確立する。

提案手法

• 10 クラスをまたぐ 70,000 枚の画像を用いる（訓練 60,000、テスト 10,000）クラスあたり 6,000 の訓練例。
• Zalando のフロントルックのサムネイルを 28x28 グレースケール画像へ normalization 手順を含む変換パイプラインを通す。
• 5-fold シャッフルで平均的なテスト精度を生成する幅広い分類器（DT、RF、SVM、KNN、ロジスティック回帰、MLP など）を評価する。
• 公開リポジトリを提供し、拡張ベンチマーク結果と実験の詳細を共有する。

実験結果

リサーチクエスチョン

• RQ1 Fashion-MNIST は MNIST の置換として信頼性を保ちつつ、分類の難易度を高めることができるか。
• RQ2 同様のデータ形式と分割において、一般的な ML アルゴリズムは Fashion-MNIST と MNIST をどう比較して性能を示すか。
• RQ3 今後のアルゴリズム開発を導く基準となる初期のパフォーマンス範囲はどれか。

主な発見

分類器	パラメータ	Fashion	MNIST
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= best	0.798	0.873
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= random	0.792	0.861
DecisionTreeClassifier	criterion= entropy max_depth= 50 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= entropy max_depth= 100 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= gini max_depth= 10 splitter= best	0.788	0.866
GaussianNB	priors= [0.1 x10]	0.511	0.524
GradientBoostingClassifier	n_estimators= 100 loss= deviance max_depth= 10	0.880	0.969
GradientBoostingClassifier	n_estimators= 50 loss= deviance max_depth= 10	0.872	0.964
KNeighborsClassifier	weights= distance n_neighbors= 5 p= 1	0.854	0.959
KNeighborsClassifier	weights= distance n_neighbors= 9 p= 1	0.854	0.955
LinearSVC	loss= hinge C= 1 multi_class= ovr penalty= l2	0.836	0.917
SVC	C= 10 kernel= rbf	0.897	0.973
SVC	C= 10 kernel= poly	0.891	0.976
MLPClassifier	activation= relu hidden_layer_sizes= [100]	0.871	0.972
RandomForestClassifier	n_estimators= 100 criterion= entropy max_depth= 100	0.873	0.970
RandomForestClassifier	n_estimators= 100 criterion= gini max_depth= 100	0.872	0.970
SVC	C= 100 kernel= rbf	0.890	0.972

• Fashion-MNIST は MNIST に比べて難易度の高いタスクを実現しつつ、MNIST 互換のデータ形式と分割を維持している。
• 木構造系、SVM、k-NN、ロジスティック回帰、ニューラルネットなどのファミリごとに異なる性能を示す広範な分類器が評価された。
• GradientBoosting、RandomForest、SVC の変種は Fashion-MNIST で高精度を達成しており、適切なチューニングによる強力な性能の可能性を示している。
• データセットは既存の ML パイプラインで MNIST の代替として容易に置換できるよう設計されており、迅速なベンチマーク採用を可能にする。