[论文解读] GlyphControl: Glyph Conditional Control for Visual Text Generation

Yukang Yang, Dongnan Gui+5 more|arXiv (Cornell University)|May 29, 2023

Video Analysis and Summarization被引用 17

一句话总结

GlyphControl 在 Stable Diffusion 中新增一个以字形为条件的 ControlNet，用于渲染易读的视觉文本，在新的 LAION-Glyph 基准上验证，并在 OCR 精度、CLIP 得分和 FID 上超过 DeepFloyd IF，且参数量更少。

ABSTRACT

Recently, there has been an increasing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics, CLIP score, and FID of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy, CLIP score, and FID, highlighting the efficacy of our method.

研究动机与目标

• 推动在基于扩散的文本到图像模型中改进可读的视觉文本渲染。
• 提出 GlyphControl 以将渲染的字形图像作为文本渲染的空间布局先验。
• 创建 LAION-Glyph 基准，用于大规模训练与评估视觉文本生成。
• 展示相较强基线在 OCR 精度、CLIP 对齐和 FID 上的改进。
• 提供灵活的字形指令，以自定义视觉文本的内容、位置和大小。

提出的方法

• 使用预训练的 Stable Diffusion 作为锁定骨干网络，并添加一个可训练的 Glyph ControlNet 分支，由渲染的字形图像引导。
• 将 OCR 检测的文本渲染为白板风格的字形图像，以在扩散去噪前提供明确的字形布局先验。
• 将文本嵌入（CLIP）与带噪声的潜变量及字形条件特征融合，以估计扩散噪声 ε(z_t, t)。
• 提供字形指令以控制文本内容、跨行布局以及文本框属性（宽度、位置、旋转）。
• 在 LAION-Glyph 数据上进行训练，使用 OCR 派生的文本监督；利用 PP-OCRv3 进行 OCR，使用 Pillow 渲染字形。

实验结果

研究问题

• RQ1 字形条件控制是否能够提高基于扩散的图像生成中视觉文本的可读性和布局准确性？
• RQ2 GlyphControl 与当代视觉文本生成模型在 OCR 精度、CLIP 对齐和 FID 上的比较如何？
• RQ3 渲染显式字形布局是否实现对生成图像中文本内容、位置和大小的灵活控制？
• RQ4 数据集规模（LAION-Glyph-100K/1M/10M）对 OCR 与感知指标的影响？
• RQ5 在渲染大量小文本或复杂布局时有哪些局限性和失败模式？

主要发现

• GlyphControl 在 SimpleBench 和 CreativeBench 上的 OCR 精度高于 DeepFloyd IF（分别为+15%和+13%）。
• GlyphControl 与基线如 SDXL 和 Stable Diffusion 在 LAION-Glyph 基准上获得更高的 CLIP 得分和更低的 FID。
• 在更大规模的 LAION-Glyph 上训练可提升 OCR 精度（在 SimpleBench 的某些设置中从 37% 提升到 48%）。
• 该方法在 LAION-Glyph 上产生更低的 FID，并且能够渲染易读文本，灵活的字形指令影响内容、位置和大小。
• 与 DeepFloyd IF 相比，GlyphControl 使用更少的参数（约 1.3B），并且在基准任务上仍然超越其 OCR 性能。
• 消融表明字体大小和布局显著影响 OCR 和 CLIP 指标，突显文本样式与可读性之间的权衡。