[论文解读] GANwriting: Content-Conditioned Generation of Styled Handwritten Word Images

Lei Kang, Pau Riba+4 more|arXiv (Cornell University)|Mar 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 7

一句话总结

该论文提出 GANwriting，一种条件生成对抗网络，通过联合条件化于文本内容和书法风格特征，生成逼真且多样的手写单词图像。通过结合对抗训练、风格分类和序列到序列识别器，该模型生成的人类难以分辨的样本，在内容条件化手写图像生成任务中达到最先进水平，具备零样本和少样本风格迁移能力。

ABSTRACT

Although current image generation methods have reached impressive quality levels, they are still unable to produce plausible yet diverse images of handwritten words. On the contrary, when writing by hand, a great variability is observed across different writers, and even when analyzing words scribbled by the same individual, involuntary variations are conspicuous. In this work, we take a step closer to producing realistic and varied artificially rendered handwritten words. We propose a novel method that is able to produce credible handwritten word images by conditioning the generative process with both calligraphic style features and textual content. Our generator is guided by three complementary learning objectives: to produce realistic images, to imitate a certain handwriting style and to convey a specific textual content. Our model is unconstrained to any predefined vocabulary, being able to render whatever input word. Given a sample writer, it is also able to mimic its calligraphic features in a few-shot setup. We significantly advance over prior art and demonstrate with qualitative, quantitative and human-based evaluations the realistic aspect of our synthetically produced images.

研究动机与目标

• 解决现有基于 GAN 的方法在合成真实且多样的手写单词图像方面存在的不足。
• 实现在无需预定义词汇表的前提下，对内容进行条件化生成手写单词。
• 通过模仿特定写作者的书法特征，支持少样本风格迁移。
• 克服先前非循环手写生成方法中存在的模式崩溃和视觉质量差的问题。
• 通过多目标学习，生成与真实手写样本无法区分的图像。

提出的方法

• 生成器同时基于文本内容（作为字符序列）和表示书法属性（如倾斜度、圆润度和笔画粗细）的潜在风格代码进行条件化。
• 该模型采用三种互补的学习目标：对抗损失以确保逼真性，写作者分类损失以实现风格迁移，以及通过预训练的序列到序列识别器实现的识别损失，以保持文本保真度。
• 判别器确保生成的图像在视觉上逼真，且与真实手写样本无法区分。
• 风格分类器将生成的图像映射到正确的写作者身份，以确保样本间风格的一致性。
• 识别头验证生成的图像是否正确传达了输入文本，防止内容失真。
• 训练流程通过多任务损失函数联合优化所有三个目标。

实验结果

研究问题

• RQ1 非循环 GAN 是否能够生成在人类评估中与真实样本无法区分的逼真手写单词图像？
• RQ2 该模型是否能够在无需预定义词汇表的前提下，基于任意文本内容生成多样且高质量的手写图像？
• RQ3 该模型是否能仅通过少量示例图像（少样本学习）有效迁移并泛化到新的书写风格？
• RQ4 各个学习目标（对抗损失、风格损失、识别损失）如何共同提升生成样本的整体质量与多样性？
• RQ5 该模型在保留内容与风格保真度的前提下，能够在多大程度上克服模式崩溃并生成多样化输出？

主要发现

• 当同时使用全部三个学习目标时，该方法在 Fréchet Inception Distance (FID) 上达到 130.68，显著优于消融实验中的变体。
• 人类评估显示，仅 49.3% 的生成图像被正确识别为虚假，表明其接近人类真实水平，假阳性率为 55.4%。
• 消融研究证实，将对抗损失、风格损失和识别损失三者结合，是实现内容准确性和风格一致性的关键。
• 若缺少识别损失，模型会出现模式崩溃，无论输入为何，均重复生成同一单词（如“the”）。
• 即使在少样本场景下，风格分类器损失对于从示例写作者中有效迁移特定书法特征也至关重要。
• 该模型成功生成了词汇表外（OOV）单词，且在视觉和文本保真度方面表现优异，证明其具备超越训练词汇表的泛化能力。