[论文解读] Pyramid Embedded Generative Adversarial Network for Automated Font Generation

Donghui Sun, Qing Zhang+1 more|arXiv (Cornell University)|Nov 20, 2018

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出金字塔嵌入生成对抗网络（PEGAN），一种基于U-Net的模型，采用级联细化与镜像跳跃连接，将多尺度特征金字塔嵌入其中，以提升中文字体生成效果。PEGAN在PSNR（17.52 vs. 17.45）、SSIM（0.84 vs. 0.83）、UQI（0.27 vs. 0.26）以及字符识别准确率（96% vs. 95%）方面优于基线方法zi2zi，同时在视觉图灵测试中人类分类准确率更低（65% vs. 73%），表明其输出更具真实性。

ABSTRACT

In this paper, we investigate the Chinese font synthesis problem and propose a Pyramid Embedded Generative Adversarial Network (PEGAN) to automatically generate Chinese character images. The PEGAN consists of one generator and one discriminator. The generator is built using one encoder-decoder structure with cascaded refinement connections and mirror skip connections. The cascaded refinement connections embed a multiscale pyramid of downsampled original input into the encoder feature maps of different layers, and multi-scale feature maps from the encoder are connected to the corresponding feature maps in the decoder to make the mirror skip connections. Through combining the generative adversarial loss, pixel-wise loss, category loss and perceptual loss, the generator and discriminator can be trained alternately to synthesize character images. In order to verify the effectiveness of our proposed PEGAN, we first build one evaluation set, in which the characters are selected according to their stroke number and frequency of use, and then use both qualitative and quantitative metrics to measure the performance of our model comparing with the baseline method. The experimental results demonstrate the effectiveness of our proposed model, it shows the potential to automatically extend small font banks into complete ones.

研究动机与目标

• 为解决大规模中文字库手动设计字体的高成本与高耗时问题。
• 开发一种自动化方法，可将小规模字体库扩展为完整且风格一致的字体库。
• 通过整合多尺度特征与多种损失函数，提升字体生成的图像质量与真实感。
• 基于笔画数量与字符频率构建精选数据集，以确保测试案例的平衡性与代表性。

提出的方法

• 生成器采用U-Net架构，通过级联细化连接将多尺度下采样输入特征嵌入不同深度的编码器层中。
• 镜像跳跃连接将多尺度编码器特征传递至对应解码器层，以保留空间与结构细节。
• 使用四种损失函数：对抗损失用于提升真实感，像素级损失用于像素级精度，感知损失用于结构相似性，类别损失用于预训练阶段的多风格学习。
• 训练分为预训练阶段（使用类别损失）与微调阶段（使用全部四种损失），以稳定并优化生成效果。
• 采用端到端的minmax策略进行训练，生成器与判别器交替更新。
• 基于笔画数量与字符频率构建自定义评估数据集，以确保测试的均衡性与代表性。

实验结果

研究问题

• RQ1 基于多尺度特征嵌入的GAN模型能否生成高质量、逼真的中文字体图像，并准确匹配目标字体风格？
• RQ2 级联细化与镜像跳跃连接的整合相较于标准U-Net，在生成细粒度笔画细节方面有何改进？
• RQ3 结合对抗损失、像素级损失、感知损失与类别损失，在多大程度上提升了字体生成的视觉质量与结构保真度？
• RQ4 该模型能否泛化至未见过的字符，并将小规模字体库扩展为完整、可用的字体库？

主要发现

• PEGAN的PSNR达到17.52，超过基线方法zi2zi的17.45，表明其像素级重建精度更优。
• PEGAN的SSIM得分为0.84，高于zi2zi的0.83，表明生成图像的结构相似性更优。
• PEGAN的感知质量评分（UQI）为0.27，略高于zi2zi的0.26，表明其对感知特征的保留更佳。
• 字符识别模型对PEGAN生成图像的正确分类率达96%，高于zi2zi的95%，表明其可读性与风格一致性更优。
• 在视觉图灵测试中，人类评分者仅65%的时间将PEGAN生成图像误判为真实图像，而zi2zi为73%，表明PEGAN生成结果更具真实感且更难被识别。
• PEGAN成功将三个小规模字体库——白舟楷体（670字）、兆禾体（2000字）与ZCool酷黑体（3563字）——扩展为完整字集，生成了高质量、风格一致的训练数据中未包含的字符。