[论文解读] Fonts-2-Handwriting: A Seed-Augment-Train framework for universal digit classification

Vinay Uday Prabhu, Sanghyun Han+4 more|arXiv (Cornell University)|May 16, 2019

Handwritten Text Recognition Techniques参考文献 7被引用 5

一句话总结

本文提出了Seed-Augment-Train/Transfer（SAT）框架，通过从开放字体文件生成合成手写数字数据集，实现在多种印度文字中的通用数字分类。通过在仅使用少量真实样本的纯合成数据上训练卷积神经网络（CNN），该方法在古吉拉特语数字上实现了高达95%的准确率，展示了在无需大规模真实数据集情况下的强大迁移学习性能。

ABSTRACT

In this paper, we propose a Seed-Augment-Train/Transfer (SAT) framework that contains a synthetic seed image dataset generation procedure for languages with different numeral systems using freely available open font file datasets. This seed dataset of images is then augmented to create a purely synthetic training dataset, which is in turn used to train a deep neural network and test on held-out real world handwritten digits dataset spanning five Indic scripts, Kannada, Tamil, Gujarati, Malayalam, and Devanagari. We showcase the efficacy of this approach both qualitatively, by training a Boundary-seeking GAN (BGAN) that generates realistic digit images in the five languages, and also quantitatively by testing a CNN trained on the synthetic data on the real-world datasets. This establishes not only an interesting nexus between the font-datasets-world and transfer learning but also provides a recipe for universal-digit classification in any script.

研究动机与目标

• 解决在卡纳达语、泰米尔语、古吉拉特语、马拉雅拉姆语和梵文天城文等印度文字中缺乏大规模、类似MNIST的手写数字数据集的问题。
• 开发一个可扩展、可重用的框架，从免费提供的开放字体许可（OFL）字体文件中生成合成训练数据。
• 通过将合成数据中的知识迁移到真实手写数字数据集，实现在低资源语言中的高准确率数字分类。
• 证明从基于字体的合成数据到多种文字的真实手写数字识别的迁移学习的有效性。

提出的方法

• 通过使用Lohit TrueType字体在28×28像素内渲染数字（0–9）来生成种子数据集，利用Python图像库实现文本到图像的转换。
• 通过弹性形变和ACGAN-based增强方法对合成数据集进行数据增强，以模拟真实手写风格的变异。
• 在增强后的合成数据集上使用交叉熵损失和AdaDelta优化器训练标准CNN，以对真实手写数字进行分类。
• 利用边界导向生成对抗网络（BGAN）生成逼真的合成手写数字图像，提升数据真实性并促进领域自适应。
• 实施两步 sanity 检查：(1) 使用预训练的MNIST模型对类别0数字进行分类；(2) 测试卡纳达语中数字3和7与标准MNIST数字2之间的形态相似性。
• 采用GAN目标的凸重构形式以提高训练稳定性，通过边界导向损失最小化判别器的对数似然差异。

实验结果

研究问题

• RQ1 能否通过开放字体文件生成的合成数据在低资源印度文字的真实手写数字识别任务中实现高泛化性能？
• RQ2 在少量真实手写数据的增强下，合成数据的性能提升在多种印度文字中有多大程度？
• RQ3 SAT框架在弥合基于字体的合成数据与真实手写数字分布之间的‘现实差距’方面有多有效？
• RQ4 在合成字体数据上训练的BGAN能否生成反映真实手写风格形态变异的逼真手写数字图像？
• RQ5 印度文字与阿拉伯-印度数字在形态上的相似性在实现从合成数据到真实数据的零样本或少样本迁移学习中起到何种作用？

主要发现

• SAT框架在仅使用合成数据训练时，测试准确率在所有五种印度文字中均达到60%至75%，证明了其在各类文字中的基本迁移能力。
• 在合成数据集中加入仅280个真实样本后，整体测试准确率显著提升，古吉拉特语数字6的准确率从纯合成数据的0.7%提升至95%。
• 在真实数据增强后的模型混淆矩阵显示，各类别预测性能显著改善，尤其体现在Lohit字体与方言手写风格形态差异较大的数字上（如古吉拉特语和卡纳达语的数字6）。
• BGAN在训练5000个周期后成功生成了逼真的手写数字图像，且视觉质量随训练时间逐步提升。
• 两项 sanity 检查确认了高度兼容性：类别0数字在MNIST模型上达到100%准确率，卡纳达语的数字3和7常被误分类为2，表明其与标准MNIST数字2具有形态相似性。
• 该框架具有可扩展性且已开源，代码可在 https://github.com/unifyid-labs/DeepGenStruct-Notebooks 获取，支持复现与向其他文字的扩展。