[论文解读] FontGAN: A Unified Generative Framework for Chinese Character Stylization and De-stylization

Xiyan Liu, Gaofeng Meng+2 more|arXiv (Cornell University)|Oct 28, 2019

Natural Language Processing Techniques参考文献 26被引用 5

一句话总结

FontGAN 通过解耦风格与内容表征，提出了一种统一的中文字符风格化与去风格化生成框架。它使用字体一致性模块（FCM）将风格嵌入高斯分布以实现基于采样的风格控制，并引入内容先验模块（CPM）在去风格化过程中保持笔画完整性，从而在一对一、多对一及多对多生成任务中均取得最先进性能。

ABSTRACT

Chinese character synthesis involves two related aspects, i.e., style maintenance and content consistency. Although some methods have achieved remarkable success in synthesizing a character with specified style from standard font, how to map characters to a specified style domain without losing their identifiability remains very challenging. In this paper, we propose a novel model named FontGAN, which integrates the character stylization and de-stylization into a unified framework. In our model, we decouple character images into style representation and content representation, which facilitates more precise control of these two types of variables, thereby improving the quality of the generated results. We also introduce two modules, namely, font consistency module (FCM) and content prior module (CPM). FCM exploits a category guided Kullback-Leibler loss to embedding the style representation into different Gaussian distributions. It constrains the characters of the same font in the training set globally. On the other hand, it enables our model to obtain style variables through sampling in testing phase. CPM provides content prior for the model to guide the content encoding process and alleviates the problem of stroke deficiency during de-stylization. Extensive experimental results on character stylization and de-stylization have demonstrated the effectiveness of our method.

研究动机与目标

• 为解决在存在较大拓扑差异的情况下，将中文字符转换为多样化字体时保持内容身份一致性的挑战。
• 在单一统一框架内同时支持风格化（标准字体到风格化字体）与去风格化（风格化字体到标准字体）。
• 提升生成质量与稳定性，特别是通过缓解去风格化过程中的笔画缺失问题并确保风格迁移的一致性。
• 在推理阶段通过从学习到的高斯分布中采样实现风格控制，而无需参考图像。

提出的方法

• 使用独立的编码器将中文字符图像分解为解耦的风格与内容表征。
• 引入字体一致性模块（FCM），通过类别引导的 Kullback-Leibler 散度将每种字体嵌入独立的高斯分布。
• 采用内容先验模块（CPM），预先训练以引导内容编码器生成更准确的标准字体重建结果，从而在去风格化过程中减少笔画损失。
• 通过从学习到的高斯风格分布中采样，在推理阶段实现风格控制，从而在无需参考图像的情况下完成风格迁移。
• 使用对抗性损失与循环一致性损失进行端到端训练，以确保图像保真度与分布对齐。
• 通过在输入图像之间交换风格与内容码，支持一对一、多对一及多对多生成。

实验结果

研究问题

• RQ1 统一框架能否在性能一致的前提下有效处理中文字符的风格化与去风格化？
• RQ2 如何实现风格与内容表征的解耦，以在保持语义身份的同时实现对字体风格的精确控制？
• RQ3 通过 FCM 实现的高斯风格嵌入是否能通过采样实现高质量风格迁移，即使在无参考图像的情况下？
• RQ4 内容先验模块（CPM）在复杂或书法风格字体的去风格化过程中，能在多大程度上减少笔画缺失问题？
• RQ5 所提方法在包括与标准字体存在显著拓扑差异的多种字体类型上的泛化能力如何？

主要发现

• 字体一致性模块（FCM）显著提升了风格保持能力，尤其在保留笔画末端与曲率等细节方面，如定性对比所示。
• 内容先验模块（CPM）有效减少了去风格化过程中的笔画缺失与混淆，尤其在复杂拓扑的书法或手写体中表现显著。
• 从学习到的高斯风格分布中采样可实现无需参考图像的高质量风格迁移，证明了学习到的风格空间具有鲁棒性。
• 该模型在一对一、多对一及多对多生成任务中均表现出良好的泛化能力，生成结果视觉连贯且语义准确。
• 消融实验表明，FCM 与 CPM 均独立贡献性能提升，其中 CPM 在去风格化质量方面提升最为显著。
• 验证实验表明，风格变量与内容无关，内容编码器对笔画布局变化具有鲁棒性，证实了有效的表征解耦。