[論文レビュー] Fonts-2-Handwriting: A Seed-Augment-Train framework for universal digit classification

Vinay Uday Prabhu, Sanghyun Han+4 more|arXiv (Cornell University)|May 16, 2019

Handwritten Text Recognition Techniques参考文献 7被引用数 5

ひとこと要約

本論文は、オープンフォントファイルから合成手書き数字データセットを生成することで、インディック文字における汎用的な数字分類を可能にする、Seed-Augment-Train/Transfer（SAT）フレームワークを紹介する。最小限の実世界サンプルを含む合成データのみで訓練されたCNNを用いることで、ガジャラティ数字において最大95％の正確性を達成し、大規模な実世界データセットが不要な状況でも強力な転移学習性能を示している。

ABSTRACT

In this paper, we propose a Seed-Augment-Train/Transfer (SAT) framework that contains a synthetic seed image dataset generation procedure for languages with different numeral systems using freely available open font file datasets. This seed dataset of images is then augmented to create a purely synthetic training dataset, which is in turn used to train a deep neural network and test on held-out real world handwritten digits dataset spanning five Indic scripts, Kannada, Tamil, Gujarati, Malayalam, and Devanagari. We showcase the efficacy of this approach both qualitatively, by training a Boundary-seeking GAN (BGAN) that generates realistic digit images in the five languages, and also quantitatively by testing a CNN trained on the synthetic data on the real-world datasets. This establishes not only an interesting nexus between the font-datasets-world and transfer learning but also provides a recipe for universal-digit classification in any script.

研究の動機と目的

• カナダ、タミル、ガジャラティ、マラヤーラム、デヴァナガリなど、インディック文字における手書き数字のためのMNIST風の大規模データセットの不足に対処する。
• 自由に利用可能なOpen Font License（OFL）フォントファイルから、合成学習データを生成するスケーラブルで再利用可能なフレームワークを開発する。
• 合成データから得た知識を実世界の手書き数字データセットに転移させることで、リソースが限られた言語における高精度な数字分類を実現する。
• 合成フォントベースのデータから実際の手書き数字認識への転移学習の有効性を、多様な文字体系において実証する。

提案手法

• Lohit TrueTypeフォントを用いて、5つのインディック文字体系における0〜9の数字を28×28ピクセルでレンダリングすることで、シードデータセットを生成する。テキストから画像への変換にはPython Imaging Libraryを活用する。
• エラスティック歪みとACGANベースの増幅を適用し、合成データセットに実世界の手書きのばらつきを模倣する。
• 交差エントロピー損失とAdaDelta最適化手法を用いて、標準的なCNNを増幅された合成データセット上で訓練し、実世界の手書き数字を分類する。
• 境界探索GAN（BGAN）を用いて、現実性の高い合成手書き数字画像を生成し、データの現実性を向上させ、ドメイン適応を支援する。
• 2段階の健全性チェックを実装する：(1) 事前学習済みMNISTモデルを用いてクラス0の数字を分類する。また、(2) カナダ語における3や7の数字が標準MNISTの2に類似した形態的特徴を示すかを検証する。
• GANの目的関数を凸型に再定式化し、訓練の安定性を向上させる。境界探索損失を用いて、識別器の対数尤度差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 オープンフォントファイルから生成された合成データは、リソースが限られたインディック文字における実世界の手書き数字認識タスクで高い汎化性能を達成できるか？
• RQ2 少量の実際の手書きデータで合成データを増幅することで、複数のインディック文字体系における分類精度がどの程度向上するか？
• RQ3 SATフレームワークは、合成フォントベースのデータと実際の手書き数字分布の間の現実性のギャップをどの程度効果的に埋め合わせられるか？
• RQ4 合成フォントデータ上で学習されたBGANは、実際の手書きの形態的ばらつきを反映した現実的な手書き数字画像を生成できるか？
• RQ5 インディック文字とアラビア数字の間の形態的類似性は、合成データから実データへのゼロショットまたはフェイワッシュート転移学習を可能にする役割を果たすか？

主な発見

• SATフレームワークは、合成データのみで訓練した場合、5つのインディック文字体系すべてで60％〜75％のテスト精度を達成し、すべてのスクリプトで基本的な転移可能性を示した。
• 合成データセットにたった280件の実世界のトレーニングサンプルを組み込むことで、全体のテスト精度が顕著に向上し、ガジャラティ語の6番目の数字では、純粋に合成データでの0.7％から95％まで向上した。
• 実データ増幅モデルの誤分類マトリクスは、Lohitフォントと現地語の手書きの間で形態的乖離が大きい数字（例：ガジャラティ語やカナダ語の6）において、予測のクラスごとの改善が顕著に見られた。
• BGANは5000エポックの訓練後、現実的な手書き数字画像を効果的に生成した。視覚的品質は時間の経過とともに着実に向上した。
• 2つの健全性チェックは高い適合性を確認した：クラス0の数字はMNISTモデルで100％の正確性を達成し、カナダ語の3と7の数字は頻繁に2に誤分類された—これは標準MNISTの数字と類似した形態的特徴があることを示している。
• このフレームワークは拡張可能で、オープンソース化されており、コードは https://github.com/unifyid-labs/DeepGenStruct-Notebooks で公開されており、他のスクリプトへの再現と拡張を可能にしている。