[논문 리뷰] EMNIST: an extension of MNIST to handwritten letters

Gregory Cohen, Saeed Afshar외 2명|arXiv (Cornell University)|2017. 02. 17.

Advanced Neural Network Applications참고 문헌 10인용 수 459

한 줄 요약

EMNIST는 MNIST를 NIST Special Database 19 문자로 확장하고 28x28 이미지로 변환하며 OPIUM 기반 분류기를 사용한 벤치마크 결과를 제공합니다.

ABSTRACT

The MNIST dataset has become a standard benchmark for learning, classification and computer vision systems. Contributing to its widespread adoption are the understandable and intuitive nature of the task, its relatively small size and storage requirements and the accessibility and ease-of-use of the database itself. The MNIST database was derived from a larger dataset known as the NIST Special Database 19 which contains digits, uppercase and lowercase handwritten letters. This paper introduces a variant of the full NIST dataset, which we have called Extended MNIST (EMNIST), which follows the same conversion paradigm used to create the MNIST dataset. The result is a set of datasets that constitute a more challenging classification tasks involving letters and digits, and that shares the same image structure and parameters as the original MNIST task, allowing for direct compatibility with all existing classifiers and systems. Benchmark results are presented along with a validation of the conversion process through the comparison of the classification results on converted NIST digits and the MNIST digits.

연구 동기 및 목표

• 숫자와 문자를 결합한 더 넓고 명확하게 정의된 벤치마크의 필요성을 동기 부여한다.
• NIST 128x128 데이터에서 MNIST 호환 28x28 이미지를 생성하는 변환 과정을 설명한다.
• train/validation/test 분할을 가진 여섯 개의 EMNIST 데이터셋(By_Class, By_Merge, Balanced, Letters, Digits, MNIST)을 소개한다.
• 데이터셋의 유용성과 변환 품질을 검증하기 위해 OPIUM 기반 네트워크를 사용한 기본 분류 결과를 제공한다.]
• method:["Gaussian 블러링, ROI 추출, 중심맞춤, 패딩 및 bicubic 다운샘플링을 사용하여 NIST Special Database 19 이미지를 MNIST와 일치하는 28x28 그레이스케일 형식으로 변환한다.","MNIST 방법론에 따라 학습/테스트를 무작위 분할에 결합하여 학습, 테스트, 및 검증(해당하는 경우)을 생성한다.","OPIUM 기반의 3계층 ELM 네트워크를 적용하여 데이터세트 간 기준선을 확립한다.","은닉층이 없는 네트워크에 대해 의사역원 해법(pseudo-inverse 솔루션)을 사용하여 기본선을 학습한다.","변환 및 데이터셋 구조를 검증하기 위해 원래 MNIST와의 성능을 비교한다."]
• research_questions:[
• ,
• ]} ഽ Note: There was an error in final JSON with misformatted arrays for method and research_questions. Let me correct and provide proper JSON. Rebuild carefully. I'll redo.

제안 방법

• Gaussian 블러링, ROI 추출, 중심맞춤, 패딩 및 bicubic 다운샘플링을 사용하여 NIST Special Database 19 이미지를 MNIST와 일치하는 28x28 그레이스케일 형식으로 변환한다.
• MNIST 방법론에 따라 학습/테스트를 무작위 분할에 결합하여 학습, 테스트, 및 검증(해당하는 경우)을 생성한다.
• OPIUM 기반의 3계층 ELM 네트워크를 적용하여 데이터세트 간 기준선을 확립한다.
• 은닉층이 없는 네트워크에 대해 의사역원 해법(pseudo-inverse 솔루션)을 사용하여 기본선을 학습한다.
• 변환 및 데이터셋 구조를 검증하기 위해 원래 MNIST와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 EMNIST 데이터셋이 숫자와 문자를 포함함으로써 MNIST보다 더 도전적이고 현실적인 벤치마크를 제공할 수 있는가?
• RQ2 변환 파이프라인이 분리 가능성을 보존하고 MNIST 기반 시스템과의 드롭인 호환성을 가능하게 하는가?
• RQ3 EMNIST By_Class, By_Merge, Balanced, Letters, Digits 및 MNIST 데이터셋에서 OPIUM 기반 및 선형 분류기의 성능은 어떻게 되는가?
• RQ4 대문자/소문자 혼동 및 숫자-문자 분류에 대한 혼동 행렬과 클래스별 결과에서 어떤 통찰이 도출되는가?

주요 결과

Dataset	Linear Classifier	OPIUM Classifier
Balanced	50.93%	78.02% ±0.92%
By Merge	50.51%	72.57% ±1.18%
By Class	51.80%	69.71% ±1.47%
Letters	55.78%	85.15% ±0.12%
EMNIST MNIST	-	85.11%

• EMNIST Balanced는 10,000개의 은닉 뉴런(OPIUM)으로 78.02% ±0.92%를 달성했습니다. 선형 기본값은 50.93%.
• EMNIST By_Merge는 72.57% ±1.18% (OPIUM) 대 50.51% 선형 기본값를 달성했습니다.
• EMNIST By_Class는 69.71% ±1.47% (OPIUM) 대 51.80% 선형 기본값를 달성했습니다.
• EMNIST Letters는 85.15% ±0.12% (OPIUM) 대 55.78% 선형 기본값를 달성했습니다.
• EMNIST MNIST는 digits에 사용된 동일한 네트워크 구조로 85.11%를 달성했으며 이 기본설정에서 원래 MNIST보다 높습니다.
• Digits-only 및 MNIST-호환 서브셋은 새로운 변환으로 높은 정확도를 보이며 표준 MNIST 대비 분리성이 향상되었음을 나타냅니다.]
• table_headers:["Dataset","Linear Classifier","OPIUM Classifier"]
• table_rows":[["Balanced","50.93%","78.02% ±0.92%"],["By Merge","50.51%","72.57% ±1.18%"],["By Class","51.80%","69.71% ±1.47%"],["Letters","55.78%","85.15% ±0.12%"],["EMNIST MNIST","-","85.11%"]]}
• 정정된 최종 JSON 제공합니다.