[论文解读] Learning to Write Stylized Chinese Characters by Reading a Handful of Examples

Danyang Sun, Tongzheng Ren+3 more|arXiv (Cornell University)|Dec 6, 2017

Handwritten Text Recognition Techniques参考文献 34被引用 11

一句话总结

本文提出了一种风格感知变分自编码器（SA-VAE），通过交叉成对优化方法解耦中文字符的内容与风格特征，实现仅通过一个或少数几个样本即可生成风格化字符的一次性或少样本生成。该方法通过学习解耦的潜在表征，保留纯粹的风格信息同时保持结构准确性，实现了最先进的少样本泛化性能。

ABSTRACT

Automatically writing stylized Chinese characters is an attractive yet challenging task due to its wide applicabilities. In this paper, we propose a novel framework named Style-Aware Variational Auto-Encoder (SA-VAE) to flexibly generate Chinese characters. Specifically, we propose to capture the different characteristics of a Chinese character by disentangling the latent features into content-related and style-related components. Considering of the complex shapes and structures, we incorporate the structure information as prior knowledge into our framework to guide the generation. Our framework shows a powerful one-shot/low-shot generalization ability by inferring the style component given a character with unseen style. To the best of our knowledge, this is the first attempt to learn to write new-style Chinese characters by observing only one or a few examples. Extensive experiments demonstrate its effectiveness in generating different stylized Chinese characters by fusing the feature vectors corresponding to different contents and styles, which is of significant importance in real-world applications.

研究动机与目标

• 实现仅通过一个或少数几个示例字符即可自动生成风格化中文字符。
• 解决现有模型在新风格下需要重新训练的局限性。
• 在中文字符中实现内容与风格特征的有效解耦，以提升少样本泛化能力。
• 开发一种可泛化至多种书写风格（包括行书和印刷体）的框架。
• 将中文字符的结构知识（如部首和部件）整合到生成过程中，以提升生成保真度。

提出的方法

• 提出一种风格感知变分自编码器（SA-VAE），通过独立的推理网络联合学习内容与风格表征。
• 采用一种新颖的交叉成对优化方法，通过最小化风格嵌入中的内容信息来增强解耦效果。
• 使用深度神经网络建模风格与内容特征中的非线性关系，替代线性矩阵分解。
• 将中文字符结构的领域特定知识（如部首和笔顺）整合到内容编码过程中。
• 利用来自多种书写风格的预训练风格库，在推理阶段泛化至未见过的风格。
• 应用带有结构化先验的变分推断，以确保后验估计的鲁棒性及潜在空间的解耦性。

实验结果

研究问题

• RQ1 深度生成模型能否仅通过一个或少数几个示例字符即推断出新的书写风格？
• RQ2 在中文字符生成中，如何有效解耦内容与风格特征，以实现一次性泛化？
• RQ3 基于VAE的框架能否在风格解耦与推断质量方面优于基于GAN的方法，用于风格化字符生成？
• RQ4 整合中文字符结构知识在多大程度上能提升生成保真度与收敛性？
• RQ5 所提出的交叉成对优化方法是否显著提升了风格嵌入的纯净度，相较于标准VAE优化方法？

主要发现

• 所提出的交叉成对优化方法在风格分类任务中达到47.42%的准确率，显著优于基线VAE（43.44%），并有效减少了风格嵌入中的内容泄露。
• 该方法将风格嵌入中的内容信息降低至仅1.28%的分类准确率，证明了其出色的解耦质量。
• SA-VAE框架仅使用一个或少数几个示例，即可在印刷体与手写体风格下生成高保真度的风格化中文字符。
• 整合字符结构知识（如部首与部件）显著提升了训练收敛速度与生成质量，尤其在复杂字符上表现更优。
• 该模型在无需重新训练的情况下可有效泛化至未见过的风格，展现出强大的少样本泛化能力。
• 该框架可迁移至其他符号字母系统（如数字、英文字母、日文音节），展现出超越中文字符的广泛应用潜力。