[论文解读] Auto-Encoder Guided GAN for Chinese Calligraphy Synthesis

Pengyuan Lyu, Xiang Bai+4 more|arXiv (Cornell University)|Jun 27, 2017

Handwritten Text Recognition Techniques被引用 12

一句话总结

本文提出一种自编码器引导的生成对抗网络（GAN），用于端到端的中文书法合成，直接将宋体（Hei）字体图像转换为风格化书法，无需进行笔画提取。通过结合风格迁移的编码器-解码器网络与监督自编码器（用于引导低层级笔画特征），该模型在新构建的包含28,000幅书法图像的基准数据集上实现了最先进的真实感与细节保真度，涵盖四种书法风格。

ABSTRACT

In this paper, we investigate the Chinese calligraphy synthesis problem: synthesizing Chinese calligraphy images with specified style from standard font(eg. Hei font) images (Fig. 1(a)). Recent works mostly follow the stroke extraction and assemble pipeline which is complex in the process and limited by the effect of stroke extraction. We treat the calligraphy synthesis problem as an image-to-image translation problem and propose a deep neural network based model which can generate calligraphy images from standard font images directly. Besides, we also construct a large scale benchmark that contains various styles for Chinese calligraphy synthesis. We evaluate our method as well as some baseline methods on the proposed dataset, and the experimental results demonstrate the effectiveness of our proposed model.

研究动机与目标

• 解决依赖不完美笔画提取的基于笔画的书法合成方法的局限性，尤其针对复杂或草书字符。
• 将中文书法合成视为图像到图像的翻译问题，实现从标准字体到风格化书法的直接生成。
• 开发一种深度生成模型，在保留整体字符布局的同时，学习精细的笔画风格与形变。
• 建立一个大规模、多样化的中文书法合成基准数据集，以支持可靠的评估。

提出的方法

• 模型采用双子网架构：一个用于图像到图像翻译的迁移网络，以及一个用于特征引导的监督网络（自编码器）。
• 监督网络在真实书法图像上进行预训练，并在训练过程中用于监督迁移网络解码器中的低层级特征。
• 迁移网络同时使用L1重建损失与对抗损失进行训练，以确保内容保留与感知真实感。
• 整个模型通过结合重建与对抗目标进行端到端训练，以生成照片级真实的书法图像。
• 该方法直接将标准字体图像（如Hei）映射到目标书法风格，无需中间的笔画提取或拼接步骤。
• 监督网络对低层级特征提供详细监督，从而提升笔画级别的准确度与纹理真实感。

实验结果

研究问题

• RQ1 深度生成模型能否在不进行笔画提取或拼接的情况下，直接从标准字体图像合成逼真的中文书法？
• RQ2 自编码器引导的监督机制在图像到图像翻译中，对提升细粒度笔画细节学习的效率如何？
• RQ3 与仅使用L1损失相比，对抗训练在提升生成书法图像的感知质量与清晰度方面有多显著？
• RQ4 当输入字体风格（如Hei与Kai）与目标书法风格存在显著差异时，该方法的鲁棒性如何？
• RQ5 该模型在具有高度结构与风格差异的多样化书法风格中，泛化能力如何？

主要发现

• 所提方法在全部四种书法风格（米芾、赵之谦、柳公权、沈尹默）中均取得最佳定性结果，优于基线方法（包括UNet、编码器-解码器与Rewrite）。
• 加入监督网络的模型显著提升了局部笔画细节，相比无监督版本，减少了错误或模糊的笔画。
• 引入对抗损失可减少模糊现象并增强纹理清晰度，使生成的字形更加真实、细节更丰富。
• 即使使用Kai字体作为输入而非Hei字体，模型仍保持强劲性能，表明其对输入字体变化具有鲁棒性。
• 该模型能很好地泛化到高度风格化与形变显著的书法风格（如米芾体），其笔画布局与结构与标准字体差异极大。
• 消融实验确认，监督网络与对抗损失对实现高保真、逼真的书法合成均不可或缺。