[논문 리뷰] Kannada-MNIST: A new handwritten digits dataset for the Kannada language

Vinay Uday Prabhu|arXiv (Cornell University)|2019. 08. 03.

Handwritten Text Recognition Techniques인용 수 18

한 줄 요약

이 논문은 인도 칸다 다국어 스크립트의 실생활 손글씨 숫자 데이터셋인 칸다-MNIST를 소개한다. 이 데이터셋은 60,000개의 훈련 이미지와 10,000개의 테스트 이미지를 포함하며, 아라비아 숫자의 MNIST와 직접 대체 가능한 형태이다. 또한, 도메인 외부 테스트 세트인 10,240장의 이미지로 구성된 Dig-MNIST도 함께 제공되며, 모든 코드, 원본 스캔 이미지, 스캐너 설정도 공개된다. 컨volutional 신경망(CNN) 기반 모델은 칸다-MNIST에서 96.8%의 정확도를 기록했고, Dig-MNIST에서는 76.1%의 정확도를 기록하여, MNIST보다 더 높은 일반화 과제를 겪고 있음을 보여준다.

ABSTRACT

In this paper, we disseminate a new handwritten digits-dataset, termed Kannada-MNIST, for the Kannada script, that can potentially serve as a direct drop-in replacement for the original MNIST dataset. In addition to this dataset, we disseminate an additional real world handwritten dataset (with $10k$ images), which we term as the Dig-MNIST dataset that can serve as an out-of-domain test dataset. We also duly open source all the code as well as the raw scanned images along with the scanner settings so that researchers who want to try out different signal processing pipelines can perform end-to-end comparisons. We provide high level morphological comparisons with the MNIST dataset and provide baselines accuracies for the dataset disseminated. The initial baselines obtained using an oft-used CNN architecture ($96.8\%$ for the main test-set and $76.1\%$ for the Dig-MNIST test-set) indicate that these datasets do provide a sterner challenge with regards to generalizability than MNIST or the KMNIST datasets. We also hope this dissemination will spur the creation of similar datasets for all the languages that use different symbols for the numeral digits.

연구 동기 및 목표

• 아랍 숫자의 MNIST와 유사한, 대규모 실생활 손글씨 숫자 데이터셋이 칸다 스크립트에 부족한 문제를 해결하기 위해.
• 다양한 글쓰기 스타일과 노이즈 수준에서 모델의 일반화 능력을 평가할 수 있는 벤치마크 데이터셋을 제공하기 위해.
• 다른 언어의 고유한 숫자 체계를 사용하는 데이터셋을 제공함으로써, 다국어 및 다스립트 일반화 연구를 지원하기 위해.
• 원본 스캔 이미지와 스캐너 설정을 공개함으로써, 자동 세그먼테이션 및 신호 처리 파이프라인의 강건성 개발을 촉진하기 위해.
• 저자원 스크립트 환경에서의 치명적 기억 상실, 합성 데이터 증강, 다중 클래스 소프트 레이블링에 관한 연구를 장려하기 위해.

제안 방법

• 칸다-MNIST 데이터셋은 인도 반갈로르 소재 65명의 자원자들이 사전 인쇄된 격자에 0~9까지의 숫자를 쓰고, 캐논 imageFORMULA 스캐너를 사용해 300 DPI로 스캔하여 수집되었다.
• Dig-MNIST 데이터셋은 캘리포니아 리드우드 시티 소재 100명의 자원자들로부터 동일한 격자 형식으로 수집되었으며, 더 노이즈가 많고 도메인 외부의 테스트 세트로, 번짐과 부분적인 숫자 선이 포함되어 있다.
• 모든 원본 스캔 이미지, 스캐너 설정, 숫자 추출을 위한 신호 처리 스크립트는 개방형으로 제공되어, 종단 간 재현성과 파이프라인 비교를 가능하게 한다.
• 기본 모델로 표준 컨volutional 신경망(CNN) 아키텍처를 사용하였으며, 칸다-MNIST에서 훈련하고, 칸다-MNIST 및 Dig-MNIST에서 평가하였다.
• 데이터셋은 MNIST 및 Dig-MNIST와의 형태학적 비교를 포함하며, 글꼴과 손글씨 스타일의 차이로 인해 특히 숫자 3, 6, 7에서 내부 클래스 변동성이 높음을 강조한다.
• 저자들은 오픈소스 글꼴(예: Lohit, Kedage)과 증강 프레임워크를 활용한 합성 데이터 생성 파이프라인을 제안하여, 저자원 스크립트 환경에서의 데이터 효율적 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 칸다-MNIST에서 훈련된 CNN 모델이 이미지 전처리 없이 도메인 외부 테스트 세트(Dig-MNIST)에 효과적으로 일반화할 수 있는가?
• RQ2 칸다 숫자 3과 7이 MNIST 숫자 2와 유사한 형태를 띠므로, 이로 인해 모델의 일반화 능력과 오해 소지가 어떻게 영향을 받는가?
• RQ3 오픈소스 글꼴과 증강 기법을 활용한 합성 데이터 생성이, 실제 칸다 손글씨 숫자 데이터셋에서 높은 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 시각적으로 유사한 숫자를 가진 MNIST에서 미리 훈련한 모델을 칸다-MNIST에 맞추기 위해 미세조정할 경우, 치명적 기억 상실 현상은 어떻게 나타나는가?
• RQ5 노이즈가 많은 데이터셋인 Dig-MNIST에서 모호하거나 부분적으로 보이지 않는 숫자에 대해 소프트 레이블을 할당할 수 있는 분류기가 설계될 수 있는가?

주요 결과

• CNN 기반 모델은 칸다-MNIST 테스트 세트에서 96.8%의 정확도를 기록하여, 잘 정제된 도메인 내 데이터셋에서 강력한 성능을 보였다.
• 동일한 모델은 Dig-MNIST 테스트 세트에서 76.1%의 정확도를 기록하여, 노이즈, 번짐, 부분적인 숫자 선으로 인해 심한 정확도 저하가 발생했음을 보여주었다.
• 숫자 6는 글꼴과 손글씨 스타일의 차이로 인해 가장 높은 내부 클래스 변동성을 보였으며, 이는 오분류와 낮은 정밀도(60%) 및 F1 점수(72%)를 초래했다.
• 숫자 3과 7은 서로 자주 오해되었고, MNIST 숫자 2와도 혼동되는 경향이 있어, 시각적 모호성이 주요 오류 원인임을 시사했다.
• 모델은 특히 숫자 0(정밀도 0.99, 재현율 0.61)과 숫자 7(재현율 0.63)에서 어려움을 겪었으며, 미세한 선 패턴을 구분하는 데 어려움을 겪었다.
• 저자들은 잘못 분류된 이미지가 종종 겹치는 선이나 완전하지 않은 격자로 인해 발생함을 관찰하였으며, 이는 개선된 자동 세그먼테이션 파이프라인의 필요성을 뒷받침한다.