[论文解读] Generating Synthetic Data for Text Recognition

Praveen Krishnan, C. V. Jawahar|arXiv (Cornell University)|Aug 15, 2016

Handwritten Text Recognition Techniques参考文献 14被引用 35

一句话总结

本文提出了一种使用公开可用的手写字体生成大规模合成手写单词图像的框架，通过仿射变换和高斯噪声模拟自然书写变化。主要贡献是发布了 IIIT-HWS 数据集——包含 900 万张合成单词图像——旨在提升用于手写单词识别和检测的深度学习模型性能。

ABSTRACT

Generating synthetic images is an art which emulates the natural process of image generation in a closest possible manner. In this work, we exploit such a framework for data generation in handwritten domain. We render synthetic data using open source fonts and incorporate data augmentation schemes. As part of this work, we release 9M synthetic handwritten word image corpus which could be useful for training deep network architectures and advancing the performance in handwritten word spotting and recognition tasks.

研究动机与目标

• 解决用于训练深度学习模型的大规模、多样化且带标注的手写单词图像数据集稀缺问题。
• 克服现有数据集（如 IAM）存在的词汇量小、单词多样性有限以及类别分布不均等局限。
• 通过提供可扩展的合成替代方案，支持深度神经网络在手写单词识别与检测任务中的鲁棒训练。
• 模拟真实的书写变化，如笔画粗细、字距、旋转、剪切以及背景噪声，以提升模型泛化能力。
• 公开发布大规模合成数据集（IIIT-HWS），以加速手写文档分析领域的研究进展。

提出的方法

• 使用来自开源词典（Hunspell）的 750 种公开可用的手写字体渲染合成手写单词图像。
• 调整关键视觉参数：字距（字符间距）、笔画粗细，并基于 IAM 数据集的统计信息，对前景和背景像素应用高斯噪声。
• 应用仿射变换，包括随机旋转（±5°）、水平剪切（±0.5°）以及通过填充实现的平移，以模拟书写差异和分割错误。
• 使用 ImageMagick 进行图像渲染，并应用高斯滤波以增强最终图像的真实感。
• 从 90,000 个单词的词汇表中为每个单词随机选取 100 种不同字体，生成 900 万张独特的合成单词图像。
• 从 IAM 数据集学习前景和背景像素的分布，以确保合成图像中像素强度统计具有真实感。

实验结果

研究问题

• RQ1 使用手写字体和受控变化生成的合成数据，能否产生适合训练深度学习模型的真实手写单词图像？
• RQ2 与真实世界数据集相比，具有受控风格变化的合成数据在手写单词识别与检测任务中的性能提升程度如何？
• RQ3 基于字体的渲染与仿射增强相结合，在模拟手写风格自然多样性方面有多高效？
• RQ4 大规模合成数据集能否缓解现有真实手写数据集的局限性，如词汇量小和类别不平衡问题？
• RQ5 在合成数据中引入真实噪声和纹理建模，对基于合成数据训练的识别模型泛化能力有何影响？

主要发现

• 作者成功使用 750 种公开可用的手写字体和 90,000 个单词的词汇表，生成了 900 万张合成手写单词图像。
• 合成数据包含了笔画粗细、字距、旋转、剪切以及背景噪声等真实变化，高度模拟自然手写特征。
• IIIT-HWS 数据集已公开发布，以支持手写单词识别与检测研究，有效缓解了该领域中的数据稀缺问题。
• 该方法通过基于真实数据（IAM）建模像素分布并应用几何变换，有效模拟了自然书写过程。
• 该方法实现了可扩展的数据生成，无需人工标注，显著降低了数据收集与标注成本。
• 作者指出，连笔书写合成与弹性形变建模是未来工作方向，表明当前在模拟流畅手写方面仍存在局限。