[论文解读] Few-shot Font Generation by Learning Style Difference and Similarity

Xiao He, Mingrui Zhu+3 more|arXiv (Cornell University)|Jan 24, 2023

Video Analysis and Summarization被引用 4

一句话总结

该论文提出 DS-Font，一种少样本字体生成方法，通过对比学习学习字体之间的风格差异以及同一字体内的相似性。通过引入多层风格投影器和聚类级对比风格损失，其在风格一致性方面表现更优，且伪影更少，优于当前最先进方法，在 FID 和风格准确率等关键指标上表现更佳。

ABSTRACT

Few-shot font generation (FFG) aims to preserve the underlying global structure of the original character while generating target fonts by referring to a few samples. It has been applied to font library creation, a personalized signature, and other scenarios. Existing FFG methods explicitly disentangle content and style of reference glyphs universally or component-wisely. However, they ignore the difference between glyphs in different styles and the similarity of glyphs in the same style, which results in artifacts such as local distortions and style inconsistency. To address this issue, we propose a novel font generation approach by learning the Difference between different styles and the Similarity of the same style (DS-Font). We introduce contrastive learning to consider the positive and negative relationship between styles. Specifically, we propose a multi-layer style projector for style encoding and realize a distinctive style representation via our proposed Cluster-level Contrastive Style (CCS) loss. In addition, we design a multi-task patch discriminator, which comprehensively considers different areas of the image and ensures that each style can be distinguished independently. We conduct qualitative and quantitative evaluations comprehensively to demonstrate that our approach achieves significantly better results than state-of-the-art methods.

研究动机与目标

• 通过建模风格关系而非依赖显式解耦，解决少样本字体生成中的伪影问题（如局部失真和风格不一致）。
• 通过对比学习捕捉风格间差异与风格内相似性，提升风格表征能力。
• 开发一个鲁棒的生成器，保持全局字符结构的同时，从少量参考样本中迁移细粒度风格模式。
• 设计一个多任务局部块判别器，独立区分图像区域中的风格，提升判别能力。

提出的方法

• 使用多层风格投影器（MSP）从参考字形中编码风格表征，实现分层风格特征学习。
• 提出聚类级对比风格损失（CCS），在潜在空间中最大化同一样式样本之间的相似性，最小化不同样式样本之间的相似性。
• 生成器采用基于注意力的架构，在保持全局字符结构的同时，从少量参考图像中迁移风格。
• 设计一个多任务局部块判别器，评估多个空间区域中的内容与风格，确保局部与全局一致性。
• 训练框架结合对抗损失、L1 损失和所提出的对比风格损失，以优化图像质量和风格保真度。
• 模型使用记忆字典存储风格码的类别中心，实现在训练过程中高效检索与对比学习。

实验结果

研究问题

• RQ1 建模风格间差异与风格内相似性是否能提升少样本字体生成质量并减少伪影？
• RQ2 对风格表征进行对比学习如何增强生成字体的风格一致性并减少局部失真？
• RQ3 与标准判别器相比，多任务局部块判别器在区分图像不同区域风格方面有多大提升？
• RQ4 与显式解耦相比，学习风格关系是否能在仅使用少量参考样本时带来更好的泛化能力？
• RQ5 所提出的聚类级对比风格损失在风格表征质量与生成保真度方面与其它损失函数相比如何？

主要发现

• 在 UFSC 数据集上，DS-Font 在大多数指标上表现最佳，包括最高的风格分类准确率（Acc (S)）和最低的 FID 分数。
• 在 UCSF 数据集上，DS-Font 在 FID (S) 和 Acc (S) 上均优于所有基线方法，表明其在特征分布对齐和风格识别方面表现更优。
• 采用 CCS 损失的模型在风格分类准确率上显著提升（某些划分中达 95%），且相比无 CCS 损失的消融版本，FID 分数降低 12%。
• 定性结果表明，DS-Font 成功保留了细粒度笔画细节与全局结构，而 LF-Font 和 MX-Font 等方法则无法维持结构完整性或生成复杂风格。
• 多任务局部块判别器在内容感知指标与视觉质量方面均优于标准局部块判别器与单任务判别器，如图 5 所示。
• 消融研究证实，CCS 损失对学习独特风格表征至关重要，其移除会导致明显伪影与风格保真度下降。