[论文解读] BézierSketch: A generative model for scalable vector sketches

Ayan Das, Yongxin Yang+3 more|View|Jul 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 5

一句话总结

BézierSketch 提出了一种新颖的生成模型，通过将笔画表示为参数化的贝塞尔曲线而非密集的路径点，实现了可缩放的、高分辨率的矢量草图生成。该方法引入了一个可微分的逆图形 BézierEncoder，将真实草图嵌入平滑曲线中，从而支持基于循环变分自编码器（VAE）的生成器（BézierSketch）生成比 SketchRNN 更长、更可缩放、质量更高的草图，在 Quick, Draw! 基准测试中实现了定量性能提升。

ABSTRACT

The study of neural generative models of human sketches is a fascinating contemporary modeling problem due to the links between sketch image generation and the human drawing process. The landmark SketchRNN provided breakthrough by sequentially generating sketches as a sequence of waypoints. However this leads to low-resolution image generation, and failure to model long sketches. In this paper we present BézierSketch, a novel generative model for fully vector sketches that are automatically scalable and high-resolution. To this end, we first introduce a novel inverse graphics approach to stroke embedding that trains an encoder to embed each stroke to its best fit Bézier curve. This enables us to treat sketches as short sequences of paramaterized strokes and thus train a recurrent sketch generator with greater capacity for longer sketches, while producing scalable high-resolution results. We report qualitative and quantitative results on the Quick, Draw! benchmark.

研究动机与目标

• 解决 SketchRNN 因采用密集路径点表示而导致生成低分辨率、不可缩放草图的局限性。
• 通过将草图建模为参数化贝塞尔曲线而非像素对齐的路径点，实现高分辨率、完全可缩放的矢量图形生成。
• 通过使用贝塞尔曲线参数的笔画级表示减少序列长度，从而克服序列模型的容量限制。
• 开发一种可微分、可逆的编码方法，将真实人类草图映射为可解释的贝塞尔曲线控制点，以支持端到端训练。
• 通过利用贝塞尔曲线的几何紧凑性和平滑性，提升长草图生成的质量与可缩放性。

提出的方法

• 提出 BézierEncoder，一种通过逆图形方式训练的神经网络，用于将原始草 sketches 映射到其最佳拟合的贝塞尔曲线控制点。
• 使用白盒贝塞尔解码器从控制点重建笔画，从而为编码器的端到端训练提供可微分的监督信号。
• 将每幅草图表示为控制点序列（而非路径点），显著减少序列长度，支持更长草图的建模。
• 将 BézierSketch 训练为序列到序列的 VAE，采用双向 LSTM 编码器和自回归 LSTM 解码器，以控制点差异和笔触状态标志作为输入标记。
• 通过在控制点参数上引入高斯分布来建模不确定性，实现随机生成并提升多样性。
• 应用重参数化与变分推断以优化 VAE 目标，结合重建损失、标志位交叉熵与 KL 散度。

实验结果

研究问题

• RQ1 可微分的逆图形方法能否有效将真实人类草图笔画嵌入可解释的贝塞尔曲线参数中？
• RQ2 与基于路径点的模型相比，使用贝塞尔曲线在笔画级别建模草图是否能实现更高分辨率和完全可缩放的矢量输出？
• RQ3 在贝塞尔控制点上训练的序列到序列 VAE 是否能生成比 SketchRNN 更长、更丰富多样且质量更高的草图？
• RQ4 在缩放时，使用贝塞尔曲线如何提升生成草图的可缩放性与视觉保真度？
• RQ5 在基准数据集上，该方法在 FID、Fréchet Sketch Distance 和定性生成质量方面，相较于现有模型有多大程度的性能提升？

主要发现

• 与 SketchRNN 相比，BézierSketch 在视觉质量与可缩放性方面表现显著更优，即使在高倍率缩放下，生成的草图仍保持平滑且清晰。
• 该模型通过生成平滑的贝塞尔曲线而非像素化的线段，实现了高分辨率矢量图形输出，支持无损缩放。
• 与路径点序列相比，贝塞尔曲线表示将序列长度减少了数量级，使模型能够以更高容量生成更长的草图。
• 在 Quick, Draw! 基准测试中的定量评估显示，FSD 和 FID 分数均得到提升，表明其生成分布与真实草图的分布对齐更好。
• BézierEncoder 有效学习将真实草图笔画嵌入准确的贝塞尔曲线近似中，可视化结果表明训练过程中逐渐收敛至最优拟合。
• 通过高斯分布控制点的随机生成可产生多样但连贯的草图，证明了模型对草图多样性的捕捉能力。