[论文解读] GlyphGAN: Style-Consistent Font Generation Based on Generative Adversarial Networks

Hideaki Hayashi, Kohtaro Abe+1 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 12

一句话总结

GlyphGAN 提出了一种基于 GAN 的方法，通过分离的字符类别向量和风格向量实现风格一致的字体生成，实现了可控、多样化且可读性高的字体合成。与 Deep-fonts 等先前方法相比，其在可读性（83.90% 的识别准确率）和多样性（C_d = 0.61）方面均有提升，同时保持了所有字符间的一致风格。

ABSTRACT

In this paper, we propose GlyphGAN: style-consistent font generation based on generative adversarial networks (GANs). GANs are a framework for learning a generative model using a system of two neural networks competing with each other. One network generates synthetic images from random input vectors, and the other discriminates between synthetic and real images. The motivation of this study is to create new fonts using the GAN framework while maintaining style consistency over all characters. In GlyphGAN, the input vector for the generator network consists of two vectors: character class vector and style vector. The former is a one-hot vector and is associated with the character class of each sample image during training. The latter is a uniform random vector without supervised information. In this way, GlyphGAN can generate an infinite variety of fonts with the character and style independently controlled. Experimental results showed that fonts generated by GlyphGAN have style consistency and diversity different from the training images without losing their legibility.

研究动机与目标

• 自动化字体设计，减少在复杂文字系统（如日文）中创建一致字符集所需的手动工作量。
• 通过机器学习捕捉并再现字体设计者隐含的知识。
• 利用深度生成模型生成新颖、多样化且所有字符间风格一致的可读字体。
• 在字体生成中实现对字符身份和视觉风格的独立控制。
• 在提升可读性和风格一致性的同时，避免模式崩溃，超越现有基于 GAN 的字体生成方法。

提出的方法

• 生成器网络接收两个输入：一个独热编码的字符类别向量和一个随机风格向量，从而实现对字符和风格的解耦控制。
• 判别器评估真实与生成的字体图像，训练生成器以生成逼真且风格一致的输出。
• 生成器和判别器均采用深度卷积神经网络（DCNN）架构，以建模复杂的图像流形。
• 训练采用条件 GAN 框架，其中生成器学习在给定字符类别和风格条件下的字体图像条件分布。
• 模型通过对抗损失端到端训练，风格向量无显式监督。
• 通过足够多样的训练数据（涵盖多种字体风格），隐式学习到风格一致性。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否在保持可读性的前提下，为所有字符生成风格一致的字体？
• RQ2 对字符类别和风格向量进行解耦条件控制，如何影响生成字体的多样性与真实感？
• RQ3 在 GAN 框架中使用无监督风格向量，能否在不发生模式崩溃的情况下生成稳定且高质量的字体？
• RQ4 与现有基于深度学习的字体生成方法相比，该方法在可读性和风格多样性方面表现如何？
• RQ5 风格向量的潜在空间在多大程度上支持有意义且可控的字体风格生成？

主要发现

• GlyphGAN 在生成字体上的识别准确率达到 83.90%，显著优于 Deep-fonts（72.51%），表明其可读性更优。
• GlyphGAN 的多样性度量（C_d）为 0.61，高于 Deep-fonts 的 0.33，表明生成字体的差异性更大。
• 由于解耦条件机制，GlyphGAN 即使在使用随机风格向量时，也能在所有字符间保持风格一致性。
• 该模型避免了 DCGAN 和 WGAN-Clipping 基线模型中观察到的模式崩溃，后者生成了重复或不可读的输出。
• 风格一致性对训练数据的多样性敏感；若风格覆盖不足，会导致输出不一致，凸显了数据依赖性。
• 风格向量的潜在空间被发现编码了有意义的风格变化，但对特定风格的显式控制仍具挑战性。