[论文解读] CLIPascene: Scene Sketching with Different Types and Levels of Abstraction

Yael Vinker, Yuval Alaluf+2 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Vision and Imaging被引用 7

一句话总结

CLIPascene 提出了一种新颖的场景素描方法，将抽象化分离为两个可控制的轴：保真度（几何精度与语义强调）和简洁度（详细到稀疏笔画）。通过 CLIP-ViT 特征引导的两个 MLP，该方法在多个抽象层级上生成平滑的矢量素描，支持用户控制的渐进简化，同时在复杂场景中保持语义和结构的一致性。

ABSTRACT

In this paper, we present a method for converting a given scene image into a sketch using different types and multiple levels of abstraction. We distinguish between two types of abstraction. The first considers the fidelity of the sketch, varying its representation from a more precise portrayal of the input to a looser depiction. The second is defined by the visual simplicity of the sketch, moving from a detailed depiction to a sparse sketch. Using an explicit disentanglement into two abstraction axes -- and multiple levels for each one -- provides users additional control over selecting the desired sketch based on their personal goals and preferences. To form a sketch at a given level of fidelity and simplification, we train two MLP networks. The first network learns the desired placement of strokes, while the second network learns to gradually remove strokes from the sketch without harming its recognizability and semantics. Our approach is able to generate sketches of complex scenes including those with complex backgrounds (e.g., natural and urban settings) and subjects (e.g., animals and people) while depicting gradual abstractions of the input scene in terms of fidelity and simplicity.

研究动机与目标

• 解决计算场景素描中缺乏细粒度、用户可控抽象的问题。
• 将几何保真度与视觉简洁度作为独立的抽象轴，以实现更大的艺术控制力。
• 生成支持进一步编辑的矢量形式素描。
• 克服现有方法仅依赖笔画数量或产生非平滑简化的局限性。
• 支持具有前景-背景分离及各抽象层级间语义一致性的复杂场景。

提出的方法

• 将抽象化分解为两个轴：保真度（从精确到语义）与简洁度（从详细到稀疏）。
• 训练两个独立的 MLP 网络：一个基于 CLIP-ViT 特征预测笔画位置，另一个逐步去除笔画同时保持可识别性。
• 使用中间 CLIP-ViT 层（如第 2 层用于高保真度，第 11 层用于松散语义）来引导保真度轴。
• 应用场景分解技术，分别绘制前景与背景，提升结构一致性。
• 使用贝塞尔曲线生成矢量素描，支持高保真编辑与可伸缩性。
• 利用 CLIP-ViT 的全局上下文理解能力，在抽象过程中保持语义连贯性。

实验结果

研究问题

• RQ1 如何将场景素描中的抽象化分解为独立且可控制的轴？
• RQ2 能否通过深度学习方法在多个抽象层级上生成平滑、渐进的简化？
• RQ3 同时控制保真度与简洁度如何提升素描质量与用户控制力？
• RQ4 能否在不依赖外部数据集的情况下，生成跨抽象层级语义一致的矢量素描？
• RQ5 与现有素描方法相比，该方法在视觉质量与抽象控制方面表现如何？

主要发现

• 该方法成功生成了在多个保真度与简洁度层级上的素描矩阵，实现了细粒度的用户控制。
• 生成的矢量素描在高抽象层级下仍保持语义与结构的一致性。
• 利用 CLIP-ViT 中间层有效控制了保真度轴，实现从几何精度到语义抽象的平滑过渡。
• 通过训练好的 MLP 实现渐进简化，相比独立优化方法（如 CLIPasso）能获得更平滑的抽象层级过渡。
• 对比实验表明，该方法在视觉质量与一致性方面表现更优，尤其在包含多个物体与复杂背景的复杂场景中。
• 在定性与定量评估中，该方法均优于 CLIPasso 及其他基线方法，尤其在应用场景分解后表现更佳。