[论文解读] Handwritten Chinese Font Generation with Collaborative Stroke Refinement

Chuan Wen, Jie Chang+5 more|arXiv (Cornell University)|Apr 30, 2019

Handwritten Text Recognition Techniques参考文献 24被引用 5

一句话总结

该论文提出了一种新颖的端到端深度学习模型，用于手写中文字体生成，仅需750对训练样本。通过引入协同笔画优化、在线缩放增强和自适应预变形技术，该方法有效处理了细笔画问题，利用了汉字结构中的重复使用特性，并提升了泛化能力——在无需预训练网络或额外标签的情况下实现了最先进性能。

ABSTRACT

Automatic character generation is an appealing solution for new typeface design, especially for Chinese typefaces including over 3700 most commonly-used characters. This task has two main pain points: (i) handwritten characters are usually associated with thin strokes of few information and complex structure which are error prone during deformation; (ii) thousands of characters with various shapes are needed to synthesize based on a few manually designed characters. To solve those issues, we propose a novel convolutional-neural-network-based model with three main techniques: collaborative stroke refinement, using collaborative training strategy to recover the missing or broken strokes; online zoom-augmentation, taking the advantage of the content-reuse phenomenon to reduce the size of training set; and adaptive pre-deformation, standardizing and aligning the characters. The proposed model needs only 750 paired training samples; no pre-trained network, extra dataset resource or labels is needed. Experimental results show that the proposed method significantly outperforms the state-of-the-art methods under the practical restriction on handwritten font synthesis.

研究动机与目标

• 解决在极低人工干预和有限训练数据下生成高质量手写中文字体的挑战。
• 克服手写字符变形过程中细笔画易出错的固有难题。
• 通过利用不同字形位置和尺度下汉字部首的内容复用模式，减少数据需求。
• 消除对预训练网络或额外标签的依赖，实现在资源极少条件下的实用化部署。
• 在低样本训练的实际约束条件下，实现优于现有方法的合成质量。

提出的方法

• 协同笔画优化采用双分支训练策略：主干分支生成输出，辅助分支学习多样的笔画权重，以引导细笔画或断裂笔画的恢复。
• 在线缩放增强通过在训练过程中合成基本组件的变换版本，隐式建模部首尺寸和位置的变化，从而减少对大规模数据收集的依赖。
• 自适应预变形通过学习尺度和空间对齐，标准化源字符和目标字符，使网络更专注于风格迁移而非几何失真。
• 模型采用端到端训练，并结合基于GAN的对抗性损失，以增强感知真实感和结构保真度。
• 该架构不依赖预训练模型或额外标签，仅使用成对的手写字符图像进行监督。
• 通过缩放和字符组件的平移等数据增强手段，隐式捕捉结构多样性，提升泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否仅使用750对训练样本，就生成高保真度的手写中文字体？
• RQ2 在图像到图像翻译过程中，如何保持手写字符中细而脆弱的笔画，避免失真？
• RQ3 汉字部首中的内容复用模式在多大程度上可减少所需训练数据量？
• RQ4 模型能否在无需预训练网络或额外标签的情况下实现最先进性能？
• RQ5 各个组件——协同优化、缩放增强和预变形——对整体合成质量的贡献如何？

主要发现

• 所提方法在仅使用750个训练样本的情况下，性能与或优于最先进方法HAN（后者使用2550个样本训练），表现出色。
• 用户研究表明，模型在合成字符上的主观评分达到5分制中的4.5分，且在超过1550个样本后性能趋于稳定，表明部首变体已得到充分覆盖。
• 消融实验表明，若移除自适应预变形，将导致笔画缺失或错位，证明其在结构一致性中的关键作用。
• 若无在线缩放增强，模型将生成杂乱无章且难以辨认的字符，证明其在建模空间与尺度多样性方面的有效性。
• 若移除笔画优化，将导致笔画断裂或分离，尤其在行书风格中更为明显，证实其在细笔画恢复中的必要性。
• 引入基于GAN的损失显著提升了感知质量，减少了模糊现象，并增强了生成字符的结构连贯性。