[논문 리뷰] Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms

Xiao Han, Kashif Rasul외 1명|arXiv (Cornell University)|2017. 08. 25.

Advanced Neural Network Applications참고 문헌 3인용 수 6,056

한 줄 요약

Fashion-MNIST는 ML 알고리즘 벤치마킹을 위한 MNIST의 즉시 대체로 작동하는 10개 클래스에 걸친 70,000개의 28x28 그레이스케일 패션 이미지를 도입하고, 여러 분류기에서 제공된 베이스라인 벤치마크를 제공합니다.

ABSTRACT

We present Fashion-MNIST, a new dataset comprising of 28x28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct drop-in replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at https://github.com/zalandoresearch/fashion-mnist

연구 동기 및 목표

• 현대의 ML 방법에 더 도전적인 MNIST와 호환되는 즉시 사용 가능한 벤치마크 데이터셋을 제공한다.
• Zalando 패션 썸네일에서 28x28 그레이스케일 이미지로의 데이터 파이프라인을 설명한다.
• Fashion-MNIST에서 알고리즘 선택을 안내하기 위한 예비 분류 벤치마크를 확립한다.

제안 방법

• 10개 클래스에 걸쳐 60,000개 학습 샘플, 10,000개 테스트 샘플로 총 70,000장의 이미지를 사용하며 클래스당 학습 예제는 6,000개이다.
• Zalando 전면 썸네일을 28x28 그레이스케일 이미지로 변환 파이프라인을 거쳐 정규화 단계와 함께 처리한다.
• 다양한 분류기(DT, RF, SVM, KNN, 로지스틱 회귀, MLP 등)를 5-폴드 셔플로 평가하여 평균 검정 정확도를 산출한다.
• 확장된 벤치마크 결과와 실험 세부 정보를 포함한 공개 저장소를 제공한다.

실험 결과

연구 질문

• RQ1 Fashion-MNIST가 MNIST를 벤치마킹에 신뢰성 있게 대체할 수 있는가?
• RQ2 유사한 데이터 형식 및 분할에서 일반적인 ML 알고리즘이 Fashion-MNIST에서 MNIST와 비교하여 어떻게 수행하는가?
• RQ3 Fashion-MNIST에서 향후 알고리즘 개발을 안내할 수 있는 기본 성능 범위는 무엇인가?

주요 결과

분류기	매개변수	Fashion	MNIST
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= best	0.798	0.873
DecisionTreeClassifier	criterion= entropy max_depth= 10 splitter= random	0.792	0.861
DecisionTreeClassifier	criterion= entropy max_depth= 50 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= entropy max_depth= 100 splitter= best	0.789	0.886
DecisionTreeClassifier	criterion= gini max_depth= 10 splitter= best	0.788	0.866
GaussianNB	priors= [0.1 x10]	0.511	0.524
GradientBoostingClassifier	n_estimators= 100 loss= deviance max_depth= 10	0.880	0.969
GradientBoostingClassifier	n_estimators= 50 loss= deviance max_depth= 10	0.872	0.964
KNeighborsClassifier	weights= distance n_neighbors= 5 p= 1	0.854	0.959
KNeighborsClassifier	weights= distance n_neighbors= 9 p= 1	0.854	0.955
LinearSVC	loss= hinge C= 1 multi_class= ovr penalty= l2	0.836	0.917
SVC	C= 10 kernel= rbf	0.897	0.973
SVC	C= 10 kernel= poly	0.891	0.976
MLPClassifier	activation= relu hidden_layer_sizes= [100]	0.871	0.972
RandomForestClassifier	n_estimators= 100 criterion= entropy max_depth= 100	0.873	0.970
RandomForestClassifier	n_estimators= 100 criterion= gini max_depth= 100	0.872	0.970
SVC	C= 100 kernel= rbf	0.890	0.972

• Fashion-MNIST는 MNIST와 호환되는 데이터 형식과 분할을 유지하면서 MNIST보다 더 도전적인 작업을 달성한다.
• 광범위한 분류기들이 평가되었으며, 계열 간 성능 차이가 나타났다(트리 기반, SVM, k-NN, 로지스틱, 신경망 등).
• GradientBoosting, RandomForest, 및 SVC 변형들이 Fashion-MNIST에서 높은 정확도를 달성하여 적절한 조정으로 강력한 성능 잠재력을 보여준다.
• 데이터세트는 기존 ML 파이프라인에서 MNIST를 쉽게 대체하도록 설계되어 빠른 벤치마킹 도입을 가능하게 한다.