[论文解读] Diff-Font: Diffusion Model for Robust One-Shot Font Generation

Haibin He, Xinyuan Chen+5 more|arXiv (Cornell University)|Dec 12, 2022

Video Analysis and Summarization被引用 7

一句话总结

Diff-Font 提出了一种基于扩散模型的框架，用于实现鲁棒的一次性字体生成，将字体生成视为一个条件生成任务，利用内容嵌入、风格参考图像以及细粒度笔画/组件条件。该方法在风格保真度和结构完整性方面实现了最先进性能，尤其在中文和韩文等复杂脚本上表现优异，训练稳定，并在基准数据集上取得了卓越的定量结果。

ABSTRACT

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

研究动机与目标

• 为解决基于 GAN 的一次性字体生成方法的局限性，包括训练不稳定、风格迁移保真度差以及在复杂字符上的失败问题。
• 实现对汉字和韩文等字形丰富的语言的鲁棒、高保真字体生成，这些语言需要精确的结构建模。
• 开发一个统一的条件生成框架，将内容、风格和结构组件解耦，以实现更好的控制力和质量。
• 证明扩散模型在字体生成中的有效性，这一领域此前主要由 GAN 主导。
• 在多种脚本和数据集上，实现定性和定量评估的最先进性能。

提出的方法

• 该方法将字体生成建模为一个条件扩散过程，其中内容通过学习得到的嵌入标记表示，风格则基于单张参考图像进行条件控制。
• 引入细粒度的结构条件（如笔画图或组件图），以保持字符完整性，尤其针对中文和韩文中的复杂字形。
• 训练一个多条件去噪扩散模型，通过迭代去噪噪声来生成图像，同时受到内容、风格和结构条件的引导。
• 模型采用两阶段训练：首先在大规模数据集上使用内容和风格条件进行训练，然后通过结构条件进行微调，以提升保真度。
• 在推理过程中对内容和笔画条件的引导尺度进行优化，以平衡保真度与多样性，最优设置为 s₁=3，s₂=3。
• 该框架与语言无关，仅使用内容和风格条件即可泛化至拉丁文和希腊文，展现出广泛的适用性。

实验结果

研究问题

• RQ1 扩散模型能否在中文和韩文等复杂脚本上实现稳定且高保真的一次性字体生成？
• RQ2 在生成复杂字符时，引入笔画和组件级别的结构条件在多大程度上提升了生成质量？
• RQ3 所提出的条件扩散框架是否在风格迁移准确性和结构保持方面优于现有的基于 GAN 的方法？
• RQ4 在推理过程中，内容与结构引导之间的最优平衡是什么，以最大化生成质量？
• RQ5 该框架能否在无需额外结构条件的情况下，有效泛化至结构更简单的脚本（如拉丁文和希腊文）？

主要发现

• Diff-Font 在中文字体生成任务上达到最先进性能，在测试集上的 Fréchet Inception Distance (FID) 为 16.20，优于先前方法。
• 在韩文脚本基准上，Diff-Font 的 FID 达到 10.69，显著低于 DG-Font (43.36) 和 MX-Font (47.05)，表明其生成质量更优。
• 内容和笔画条件的最优引导尺度分别为 s₁=3 和 s₂=3，此时 SSIM 达到最高值 0.722，RMSE 最低为 0.277，LPIPS 最低为 0.104。
• 消融实验表明，使用笔画数量编码可提升生成质量，优于无笔画条件或一位编码，显著降低 FID 和 LPIPS。
• 该模型能有效泛化至拉丁文和希腊文，无需结构标注即可生成高质量结果。
• 尽管性能优异，对于极端复杂或非常见风格的字符，仍存在失败案例，表明在罕见或分布外样本上仍存在局限性。