[论文解读] Chinese Typography Transfer

Jie Chang, Yujun Gu|arXiv (Cornell University)|Jul 16, 2017

Simulation and Modeling Applications参考文献 12被引用 19

一句话总结

本文提出了一种基于深度学习的端到端中文排版风格迁移框架，将每个汉字视为整体图像，避免了分割或预/后处理。通过结合全卷积网络（FCN）以保持结构完整性，以及对抗网络以生成逼真的笔画，该模型成功实现了印刷体与手写体风格的高视觉保真度迁移。

ABSTRACT

In this paper, we propose a new network architecture for Chinese typography transformation based on deep learning. The architecture consists of two sub-networks: (1)a fully convolutional network(FCN) aiming at transferring specified typography style to another in condition of preserving structure information; (2)an adversarial network aiming at generating more realistic strokes in some details. Unlike models proposed before 2012 relying on the complex segmentation of Chinese components or strokes, our model treats every Chinese character as an inseparable image, so pre-processing or post-preprocessing are abandoned. Besides, our model adopts end-to-end training without pre-trained used in other deep models. The experiments demonstrates that our model can synthesize realistic-looking target typography from any source typography both on printed style and handwriting style.

研究动机与目标

• 开发一种统一的深度学习框架，用于中文排版风格迁移，无需依赖组件或笔画分割。
• 消除排版风格迁移中复杂预处理或后处理步骤的需求。
• 实现无需预训练模型的端到端训练，提升训练效率与适应性。
• 在印刷体与手写体风格下，生成具有细粒度笔画细节的逼真排版。

提出的方法

• 该模型采用全卷积网络（FCN）以在保留源字符结构布局的同时实现排版风格迁移。
• 引入对抗网络以增强局部笔画的真实感，提升细节的视觉质量。
• 整个架构以端到端方式训练，未使用预训练权重。
• 该模型将每个汉字视为单一图像，避免对组件或笔画进行分割。
• 对抗损失用于优化生成的笔画，使其更自然且与目标风格在视觉上保持一致。
• 通过统一架构支持印刷体与手写体风格迁移。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无需字符或笔画分割的情况下实现中文排版风格迁移？
• RQ2 端到端训练的模型在生成逼真笔画的同时，能否有效保持结构完整性？
• RQ3 该模型在多样化的排版风格（包括印刷体与手写体）之间具有多大程度的泛化能力？
• RQ4 与基线方法相比，对抗训练是否能显著提升生成笔画的真实感？

主要发现

• 该模型在无需任何预处理或后处理步骤的情况下，成功实现了从源到目标的排版风格迁移。
• 在未使用预训练模型的情况下实现端到端训练，性能表现具有竞争力，证明了模型的自足性。
• 对抗组件显著提升了生成字符中笔画细节的真实感。
• 该模型在印刷体与手写体风格之间均表现出良好的泛化能力，生成结果视觉上合理。
• 在风格迁移过程中，该框架即使面对复杂的笔画结构，也能保持源字符的结构一致性。
• 该方法优于以往需要分割或复杂预处理流程的基线方法。