[论文解读] Attribute2Font: Creating Fonts You Want From Attributes

Yizhi Wang, Yue Gao+1 more|arXiv (Cornell University)|May 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 4

一句话总结

本文提出 Attribute2Font，一种深度生成模型，通过在字体之间执行基于属性的风格迁移，从用户指定的字体属性（例如斜体、衬线、锐利度等）生成自定义字形图像。该模型引入了属性注意力模块和半监督学习方案，以提升生成质量并应对标注数据有限的问题，从而能够合成现有数据库中不存在的新字体风格。

ABSTRACT

Font design is now still considered as an exclusive privilege of professional designers, whose creativity is not possessed by existing software systems. Nevertheless, we also notice that most commercial font products are in fact manually designed by following specific requirements on some attributes of glyphs, such as italic, serif, cursive, width, angularity, etc. Inspired by this fact, we propose a novel model, Attribute2Font, to automatically create fonts by synthesizing visually-pleasing glyph images according to user-specified attributes and their corresponding values. To the best of our knowledge, our model is the first one in the literature which is capable of generating glyph images in new font styles, instead of retrieving existing fonts, according to given values of specified font attributes. Specifically, Attribute2Font is trained to perform font style transfer between any two fonts conditioned on their attribute values. After training, our model can generate glyph images in accordance with an arbitrary set of font attribute values. Furthermore, a novel unit named Attribute Attention Module is designed to make those generated glyph images better embody the prominent font attributes. Considering that the annotations of font attribute values are extremely expensive to obtain, a semi-supervised learning scheme is also introduced to exploit a large number of unlabeled fonts. Experimental results demonstrate that our model achieves impressive performance on many tasks, such as creating glyph images in new font styles, editing existing fonts, interpolation among different fonts, etc.

研究动机与目标

• 通过支持基于属性的生成而非依赖字体检索，降低非专业人士创建自定义字体的门槛。
• 解决现有图像生成模型将属性同等对待、无法有效建模字形形状变化的问题。
• 开发一种支持连续、任意属性值而非离散或二值属性的方法。
• 通过半监督学习方法应对标注字体属性数据稀缺的问题。
• 实现对新字体风格（包括中文等非拉丁文字系统）的字形图像生成。

提出的方法

• 该模型使用深度生成网络，在字体属性值条件约束下，执行字体之间的图像到图像风格迁移。
• 在解码器中集成属性注意力模块，以在生成过程中动态强调最具影响力的属性。
• 采用半监督学习方案，利用大量未标注字体数据，在标注数据有限时提升训练效果。
• 模型训练目标是学习从源字体图像和属性值到目标字体图像（所需风格）的映射。
• 该架构基于改进的 StarGAN 框架，并引入属性感知注意力机制。
• 该方法支持在字体之间插值以及通过修改属性值编辑现有字体。

实验结果

研究问题

• RQ1 深度生成模型能否基于连续的、用户定义的属性值生成全新字体风格，而非仅检索现有字体？
• RQ2 如何建模属性特异性的重要性，以提升生成字形的视觉保真度？
• RQ3 半监督学习策略在多大程度上可减少字体生成中对昂贵属性标注的依赖？
• RQ4 所提方法能否在不同文字系统（如中文）上泛化，尤其是针对大规模字符集？
• RQ5 属性注意力模块在多大程度上增强了模型在字体合成过程中保留关键风格特征的能力？

主要发现

• Attribute2Font 模型能够基于任意属性值组合，成功生成高质量、全新且未见过的字体风格下的字形图像。
• 属性注意力模块显著提升了模型强调关键属性的能力，从而生成更准确、视觉上更一致的字体风格。
• 半监督学习方案在标注数据有限的情况下实现了有效训练，提升了低资源场景下的性能表现。
• 该模型在非拉丁文字系统（如中文）上表现出良好泛化能力，证明了其在大规模字符集上的可扩展性。
• 大量实验表明，与现有方法相比，该模型在字体创建、编辑和插值任务中均表现出更优性能。
• 在身份一致性与属性控制方面，该模型优于基线 GAN 模型（如 StarGAN），尤其在人脸与字体图像转换任务中表现更优。