[论文解读] Conditional Text Image Generation with Diffusion Models

Yuanzhi Zhu, Zhaohai Li+3 more|arXiv (Cornell University)|Jun 19, 2023

Handwritten Text Recognition TechniquesComputer Science被引用 3

一句话总结

本文提出CTIG-DM，一种基于扩散模型的条件文本图像生成方法，通过图像、文本和风格条件生成高保真度、多样化的文本图像。该方法通过支持四种不同的生成模式，在文本识别准确率、OOV词生成和领域自适应方面达到最先进性能。

ABSTRACT

Current text recognition systems, including those for handwritten scripts and scene text, have relied heavily on image synthesis and augmentation, since it is difficult to realize real-world complexity and diversity through collecting and annotating enough real text images. In this paper, we explore the problem of text image generation, by taking advantage of the powerful abilities of Diffusion Models in generating photo-realistic and diverse image samples with given conditions, and propose a method called Conditional Text Image Generation with Diffusion Models (CTIG-DM for short). To conform to the characteristics of text images, we devise three conditions: image condition, text condition, and style condition, which can be used to control the attributes, contents, and styles of the samples in the image generation process. Specifically, four text image generation modes, namely: (1) synthesis mode, (2) augmentation mode, (3) recovery mode, and (4) imitation mode, can be derived by combining and configuring these three conditions. Extensive experiments on both handwritten and scene text demonstrate that the proposed CTIG-DM is able to produce image samples that simulate real-world complexity and diversity, and thus can boost the performance of existing text recognizers. Besides, CTIG-DM shows its appealing potential in domain adaptation and generating images containing Out-Of-Vocabulary (OOV) words.

研究动机与目标

• 解决训练鲁棒文本识别模型时真实世界文本图像数据有限的挑战。
• 开发一种条件文本图像生成框架，确保内容有效性、图像保真度和多样性。
• 探索扩散模型在生成复杂文本图像（包括OOV和罕见字符）方面的潜力。
• 通过合成数据和使用生成样本进行领域自适应，提升文本识别性能。

提出的方法

• 提出一种带有三种关键条件的条件扩散模型：图像条件、文本条件和风格条件，用于控制内容、属性和书写风格。
• 采用条件编码器从输入文本、风格嵌入和可选的图像先验生成三种条件。
• 利用基于三种输入的去噪扩散过程，从随机噪声生成逼真的文本图像。
• 通过组合或配置三种条件，支持四种生成模式——合成、增强、恢复和模仿。
• 在扩散过程中利用基于CLIP的预训练实现文本与图像条件之间的跨模态对齐。
• 采用笔画序列分解方法，以支持复杂脚本的生成，如OOV中文字符和古文字。

实验结果

研究问题

• RQ1 扩散模型能否有效生成高保真度、多样化且内容有效的文本图像，以用于文本识别的数据增强？
• RQ2 所提出的三种条件（文本、风格、图像）在控制文本图像生成中的图像质量和语义一致性方面分别起到何种作用？
• RQ3 CTIG-DM在低资源或分布外设置下，通过合成数据能在多大程度上提升文本识别性能？
• RQ4 CTIG-DM能否生成OOV或罕见字符（如不存在的中文部首或古文字）的真实图像？
• RQ5 与现有的基于GAN和自回归的方法相比，CTIG-DM在生成多样化且有效的文本图像方面表现如何？

主要发现

• 在IAM数据集的OOV图像生成上，CTIG-DM的FID达到25.52，显著优于先前方法如CG-GAN（104.81）和SLOGAN（97.81）。
• 在CVL数据集上，CTIG-DM相比基线将WER降低16.40%，CER降低7.60%，展现出强大的领域自适应能力。
• 人类评估确认，CTIG-DM生成的图像在手写体和场景文本设置下几乎与真实图像无法区分。
• 该方法通过组合笔画序列和风格先验，成功生成了不存在的中文字符和古代罕见字符。
• 四种生成模式——合成、增强、恢复和模仿——使该方法能够灵活应用于多种文本识别场景。
• 该模型在未见写作者和罕见字符分布上表现出强泛化能力，表明其具备鲁棒性和可扩展性。