[論文レビュー] Kannada-MNIST: A new handwritten digits dataset for the Kannada language

Vinay Uday Prabhu|arXiv (Cornell University)|Aug 3, 2019

Handwritten Text Recognition Techniques被引用数 18

ひとこと要約

本論文では、60,000枚の学習画像と10,000枚のテスト画像を含む、カナダ語の手書き数字データセット「Kannada-MNIST」を紹介する。これはアラビア数字のMNISTと同様の役割を果たす、実世界の手書き数字データセットである。また、ドメイン外のテストセットとして10,240枚の画像を含む「Dig-MNIST」を公開し、すべてのコード、元データのスキャン画像、スキャナ設定もオープンソース化している。CNNベースラインはKannada-MNISTで96.8%の正確性を達成し、Dig-MNISTでは76.1%に低下し、MNISTに比べて一般化の難易度が高くなっていることが示された。

ABSTRACT

In this paper, we disseminate a new handwritten digits-dataset, termed Kannada-MNIST, for the Kannada script, that can potentially serve as a direct drop-in replacement for the original MNIST dataset. In addition to this dataset, we disseminate an additional real world handwritten dataset (with $10k$ images), which we term as the Dig-MNIST dataset that can serve as an out-of-domain test dataset. We also duly open source all the code as well as the raw scanned images along with the scanner settings so that researchers who want to try out different signal processing pipelines can perform end-to-end comparisons. We provide high level morphological comparisons with the MNIST dataset and provide baselines accuracies for the dataset disseminated. The initial baselines obtained using an oft-used CNN architecture ($96.8\%$ for the main test-set and $76.1\%$ for the Dig-MNIST test-set) indicate that these datasets do provide a sterner challenge with regards to generalizability than MNIST or the KMNIST datasets. We also hope this dissemination will spur the creation of similar datasets for all the languages that use different symbols for the numeral digits.

研究の動機と目的

• アラビア数字のMNISTに類似した大規模かつ実世界の手書き数字データセットがカナダ語の書記体系に対して存在しないという課題に対処すること。
• 異なる筆記スタイルやノイズレベルにわたるモデルの一般化性能を評価可能なベンチマークデータセットを提供すること。
• 他の言語で異なる数字体系を用いる言語に対しても同等のデータセットを提供することで、多言語・多書記体系間の一般化に関する研究を支援すること。
• 生スキャン画像とスキャナ設定の公開を通じて、自動セグメンテーションおよび信号処理パイプラインの強固な開発を促進すること。
• 低リソースの書記体系環境における、崩壊的忘却、合成データ増強、多クラスソフトラベル化に関する研究を促進すること。

提案手法

• Kannada-MNISTデータセットは、インドのバンガロールに在住する65名のボランティアが、事前に印刷されたグリッドに0〜9の数字を記入し、Canon imageFORMULAスキャナを用いて300 DPIでスキャンした画像から構成されている。
• Dig-MNISTデータセットは、カリフォルニア州レッドウッドシティに在住する100名のボランティアが同じグリッド形式で記入し、汚れや部分的な数字のストロークを含むノイジーでドメイン外のテストセットとなった。
• すべての生スキャン画像、スキャナ設定、および数字抽出のための信号処理スクリプトをオープンソース化し、エンドツーエンドの再現性とパイプライン比較を可能にしている。
• 標準的な畳み込みニューラルネットワーク（CNN）アーキテクチャをベースラインモデルとして用い、Kannada-MNISTで学習し、Kannada-MNISTおよびDig-MNISTの両方で評価した。
• データセットには、MNISTおよびDig-MNISTとの形態的比較が含まれており、特にフォントや筆記スタイルの違いにより、数字3、6、7に顕著なクラス内変動が見られることが強調されている。
• 著者らは、オープンソースフォント（例：Lohit、Kedage）と増幅フレームワークを用いた合成データ生成パイプラインを提案し、低リソースの書記体系向けにデータ効率の良い学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Kannada-MNISTで学習したCNNが、画像前処理なしで実世界のドメイン外テストセット（Dig-MNIST）に効果的に一般化できるか？
• RQ2 カナダ語の数字3と7がMNISTの数字2に類似していることによる形態的類似性が、モデルの一般化性能や誤認識に与える影響は何か？
• RQ3 オープンソースフォントと増幅技術を用いた合成データ生成が、実際のカナダ語の手書き数字データセットで高い正確性を達成できる程度はどの程度か？
• RQ4 視覚的に類似した数字を有するMNISTで事前学習したモデルをKannada-MNISTで微調整する際、崩壊的忘却はどのように現れるか？
• RQ5 汚れや部分的な可視性の低いデータセット（例：Dig-MNIST）において、曖昧または部分的にしか見えない数字に対してソフトラベルを割り当てる分類器を設計できるか？

主な発見

• CNNベースラインはKannada-MNISTのテストセットで96.8%のトップ1正確性を達成し、構造的・ドメイン内に適したデータセットに対して優れた性能を示した。
• 同じモデルはDig-MNISTのテストセットで76.1%の正確性を示し、ノイズ、汚れ、部分的なストロークの影響により顕著な性能低下が確認された。
• 数字6はフォントや筆記スタイルの違いにより、クラス内変動が最も顕著で、誤分類の原因となり、精度（60%）とF1スコア（72%）が低くなった。
• 数字3と7は互いに頻繁に混同され、MNISTの数字2とも混同されることがあり、視覚的な曖昧さが主なエラー要因であることが示された。
• モデルは特にクラス0（精度0.99、再現率0.61）とクラス7（再現率0.63）で困難を示し、わずかなストロークパターンの違いを区別するのが難しいことがわかった。
• 誤分類された画像にはしばしば重なったストロークや不完全なグリッドが見られ、これにより自動セグメンテーションパイプラインの改善が強く求められることが示された。