[论文解读] DeepVecFont: Synthesizing High-quality Vector Fonts via Dual-modality Learning

Yizhi Wang, Zhouhui Lian|arXiv (Cornell University)|Oct 13, 2021

Advanced Image and Video Retrieval Techniques参考文献 32被引用 16

一句话总结

DeepVecFont 提出了一种新颖的深度学习框架，通过双模态学习联合建模位图图像和矢量轮廓，实现了高质量、紧凑的矢量字体合成。通过融合基于图像的特征与基于序列的特征，并结合可微分光栅化与迭代优化，该方法生成的矢量字形在视觉质量与风格一致性方面达到人类设计水平，在定性和定量基准测试中均优于先前方法。

ABSTRACT

Automatic font generation based on deep learning has aroused a lot of interest in the last decade. However, only a few recently-reported approaches are capable of directly generating vector glyphs and their results are still far from satisfactory. In this paper, we propose a novel method, DeepVecFont, to effectively resolve this problem. Using our method, for the first time, visually-pleasing vector glyphs whose quality and compactness are both comparable to human-designed ones can be automatically generated. The key idea of our DeepVecFont is to adopt the techniques of image synthesis, sequence modeling and differentiable rasterization to exhaustively exploit the dual-modality information (i.e., raster images and vector outlines) of vector fonts. The highlights of this paper are threefold. First, we design a dual-modality learning strategy which utilizes both image-aspect and sequence-aspect features of fonts to synthesize vector glyphs. Second, we provide a new generative paradigm to handle unstructured data (e.g., vector glyphs) by randomly sampling plausible synthesis results to get the optimal one which is further refined under the guidance of generated structured data (e.g., glyph images). Finally, qualitative and quantitative experiments conducted on a publicly-available dataset demonstrate that our method obtains high-quality synthesis results in the applications of vector font generation and interpolation, significantly outperforming the state of the art.

研究动机与目标

• 为解决长期存在的挑战：自动合成在视觉质量与紧凑性方面均达到人类设计标准的高质量矢量字体。
• 克服现有方法依赖单模态表示（如仅图像或仅序列）进行字体生成的局限性。
• 开发一种生成框架，通过结合随机采样与基于结构化图像监督的引导优化，有效处理非结构化的矢量字形数据。
• 实现在潜在空间中的高保真矢量字体合成与平滑风格插值，保持字形间风格的一致性。
• 通过利用图像与序列模态的互补信息，为矢量图形的生成建模提供新范式。

提出的方法

• 采用双模态学习策略，从位图图像（通过CNN提取全局形状感知特征）与矢量轮廓（通过RNN建模绘图指令序列）中分别提取并融合特征。
• 使用可微分光栅化将合成的矢量字形转换为可微分的位图图像，从而实现基于图像监督的端到端训练。
• 采用两阶段优化过程：先采样合理的合成结果，再利用生成的图像特征作为引导，迭代优化以提升局部细节的准确性。
• 在图像与序列模态之间实现双向特征转换，增强特征互补性，提升在多样化字体风格下的泛化能力。
• 应用混合密度网络（MDNs）对绘图指令坐标进行建模，以降低序列生成中的歧义性，适应其连续多值特性。
• 在潜在风格空间中引入插值机制，支持字体间平滑过渡，并可生成具有新颖一致风格的合成矢量字体。

实验结果

研究问题

• RQ1 深度生成模型能否通过联合利用字形的图像与序列模态，有效合成高质量的矢量字体？
• RQ2 如何通过结构化图像监督，有效建模并优化非结构化的矢量字形数据？
• RQ3 与单模态方法相比，双模态学习在提升合成矢量字体的视觉质量与结构紧凑性方面能达到何种程度的提升？
• RQ4 模型是否能通过潜在空间中的风格插值，在整个字体家族的所有字形中生成一致且视觉上令人满意的字体？
• RQ5 在合成具有极端特征的矢量字体（如极细笔画或复杂曲线）时，其主要失败模式是什么？如何加以缓解？

主要发现

• 用户研究显示，平均准确率达到62.1%，非专业用户对字体质量的评分为4.6/5，风格一致性为4.8/5，表明其具有出色的感知质量。
• 专业设计师的准确率达到66.5%，风格一致性评分为4.5/5，证明合成字体具有高度一致性与可接受性。
• 在公开数据集上的定性与定量评估中，该方法显著优于最先进方法，尤其在字形生成与风格插值方面表现更优。
• 该方法成功生成了轮廓紧凑、平滑且具有高视觉保真度的矢量字体，在质量与结构紧凑性方面与人工设计字体相当。
• 局限性包括极细笔画中偶尔出现轮廓断裂，以及小曲线过度拟合图像表示，这些被识别为未来改进的重点方向。
• 用户研究表明，34.4%的召回率表明大量合成字形与人工设计字形难以区分，证实了模型的逼真性与感知质量。