[论文解读] Differentiable Drawing and Sketching

Daniela Mihai, Jonathon Hare|arXiv (Cornell University)|Mar 30, 2021

Advanced Vision and Imaging参考文献 36被引用 9

一句话总结

本文提出了一种用于绘制基本图形——点、线和曲线——的可微分光栅化方法，通过重新表述基于距离变换的像素渲染并对其进行松弛处理，以实现端到端学习。该方法实现了从图像直接优化草图以及对手写数字的无监督矢量化，通过自下而上的、符合物理现实的组合框架，在可微分绘图与草绘任务中表现出色。

ABSTRACT

We present a bottom-up differentiable relaxation of the process of drawing points, lines and curves into a pixel raster. Our approach arises from the observation that rasterising a pixel in an image given parameters of a primitive can be reformulated in terms of the primitive's distance transform, and then relaxed to allow the primitive's parameters to be learned. This relaxation allows end-to-end differentiable programs and deep networks to be learned and optimised and provides several building blocks that allow control over how a compositional drawing process is modelled. We emphasise the bottom-up nature of our proposed approach, which allows for drawing operations to be composed in ways that can mimic the physical reality of drawing rather than being tied to, for example, approaches in modern computer graphics. With the proposed approach we demonstrate how sketches can be generated by directly optimising against photographs and how auto-encoders can be built to transform rasterised handwritten digits into vectors without supervision. Extensive experimental results highlight the power of this approach under different modelling assumptions for drawing tasks.

研究动机与目标

• 开发一种可微分的、自下而上的方法，用于对点、线和曲线等基本绘图原语进行光栅化。
• 通过距离变换的松弛实现光栅化的可微分性，以支持草图的端到端优化。
• 建模反映真实绘画行为而非图形渲染管线约束的组合式绘图过程。
• 通过针对照片进行优化实现草图生成，并实现对手写数字的无监督矢量化。
• 为深度学习与视觉应用中的可微分绘图提供一种灵活且可学习的基础框架。

提出的方法

• 将基本原语的像素光栅化重新定义为距离变换的函数，以实现可微分性。
• 对距离变换进行松弛，以支持对位置、角度和形状等原语参数的基于梯度的优化。
• 使用可微分的组合机制，以模拟真实绘画过程的方式堆叠原语。
• 将可微分原语集成到神经网络中，以实现端到端训练。
• 将该框架应用于基于优化的草图生成以及光栅图像的向量表示自编码任务。
• 利用可微分性，训练无需监督的模型以完成如数字矢量化等任务。

实验结果

研究问题

• RQ1 能否通过距离变换的几何松弛，使基本绘图原语的光栅化过程实现可微分？
• RQ2 如何组合可微分的绘图原语，以建模真实且分层的绘画过程？
• RQ3 能否通过直接最小化与目标图像的重建损失，实现草图的端到端优化？
• RQ4 无监督自编码器在仅使用可微分光栅化的情况下，能在多大程度上学习到手写数字的有意义向量表示？
• RQ5 与传统的图形渲染或神经渲染相比，这种自下而上、基于几何的方法在草绘相关任务中的表现如何？

主要发现

• 所提出的可微分光栅化方法能够直接从照片优化草图，生成合理且细节丰富的线条绘图。
• 使用可微分原语训练的无监督自编码器，无需任何真实向量监督，成功重建了MNIST数字的矢量化表示。
• 该方法支持深度网络的端到端训练，其中原语参数通过反向传播进行优化。
• 该框架支持具有真实分层与混合效果的组合式绘图，反映真实的物理绘画行为。
• 大量实验表明，该方法在不同建模假设下均具有良好的泛化能力，并在草图生成与矢量化任务中取得优异结果。
• 距离变换的松弛使得即使在非光滑原语（如线条和拐角）上也能获得稳定的梯度。