[论文解读] Chinese Typeface Transformation with Hierarchical Adversarial Network

Jie Chang, Yujun Gu+1 more|arXiv (Cornell University)|Nov 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 7

一句话总结

本文提出一种分层对抗网络（HAN）用于中文字体转换，通过在生成网络中采用分阶段解码器以捕捉全局与局部特征，并引入具有多级对抗损失的分层判别器以提升训练稳定性和收敛性。与基线GAN相比，该方法实现了更快的收敛速度和更高质量的字符生成效果，并可泛化至手写字符恢复任务。

ABSTRACT

In this paper, we explore automated typeface generation through image style transfer which has shown great promise in natural image generation. Existing style transfer methods for natural images generally assume that the source and target images share similar high-frequency features. However, this assumption is no longer true in typeface transformation. Inspired by the recent advancement in Generative Adversarial Networks (GANs), we propose a Hierarchical Adversarial Network (HAN) for typeface transformation. The proposed HAN consists of two sub-networks: a transfer network and a hierarchical adversarial discriminator. The transfer network maps characters from one typeface to another. A unique characteristic of typefaces is that the same radicals may have quite different appearances in different characters even under the same typeface. Hence, a stage-decoder is employed by the transfer network to leverage multiple feature layers, aiming to capture both the global and local features. The hierarchical adversarial discriminator implicitly measures data discrepancy between the generated domain and the target domain. To leverage the complementary discriminating capability of different feature layers, a hierarchical structure is proposed for the discriminator. We have experimentally demonstrated that HAN is an effective framework for typeface transfer and characters restoration.

研究动机与目标

• 为解决中文字体转换中源字体与目标字体在高频特征上差异显著，导致标准图像风格迁移方法不适用的问题。
• 通过同时捕捉全局拓扑结构与局部细节，克服同一字体中不同字根形态变化导致的过拟合问题。
• 通过引入具有多级对抗监督的分层判别器，提升图像到图像翻译在字体迁移任务中的训练稳定性和收敛速度。
• 实现端到端的字体转换学习，无需依赖人工特征工程或结构分割。
• 通过学习重建被遮蔽的手写字符，将该框架扩展至字符恢复任务。

提出的方法

• 在转换网络中采用分阶段解码器架构，在多个解码层生成中间特征图，实现对全局结构与局部细节的联合优化。
• 分层判别器在不同特征层（如D1至D4）使用独立的对抗损失，每一层评估生成图像在特定表示层级上的真实性。
• 对抗损失与感知损失及像素级损失相结合，引导生成器学习内容一致性与视觉保真度。
• 判别器的多层级结构可动态评估真实图像与生成图像在感知层次上的分布差异。
• 通过复合损失函数端到端训练框架，平衡对抗损失、感知损失与重建损失。
• 在成对与非成对设置下评估模型性能，并通过消融实验对比HAN与单对抗网络（SAN）基线。

实验结果

研究问题

• RQ1 与标准GAN相比，分层对抗网络是否能提升中文字体迁移中的收敛速度与视觉质量？
• RQ2 在不同特征层施加多级对抗监督，如何影响生成字符的真实性与结构准确性？
• RQ3 所提出的HAN模型在被遮蔽的手写输入下，对字符恢复任务的泛化能力如何？
• RQ4 实现稳定且高质量的字体迁移性能，所需最少训练样本数量是多少？
• RQ5 分阶段解码器架构是否能有效在风格迁移过程中同时保持全局拓扑结构与局部笔画细节？

主要发现

• HAN在训练过程中收敛速度显著快于单对抗网络（SAN）基线，900次训练步骤内的损失曲线显示其RMSE值始终更低。
• 在相同训练轮次下，HAN生成的字符在视觉连贯性与真实感方面优于SAN，笔画更清晰，结构保留更佳。
• 分层判别器提升泛化能力：当深层判别器（如D4）被欺骗时，浅层判别器（如D1–D3）仍能提供可靠的真假分类，从而增强训练稳定性。
• HAN在字符恢复任务中表现更优，能以高保真度成功重建手写字符中30%的遮蔽区域。
• 当训练集规模达到35%（2000张样本）时性能趋于平稳，表明在此阈值后收益递减。
• 消融实验证实，提升收敛速度与生成质量的关键在于分层对抗损失，而不仅仅是梯度幅值的增强。