[论文解读] DeepSketchHair: Deep Sketch-based 3D Hair Modeling

Yuefan Shen, Changgeng Zhang+3 more|arXiv (Cornell University)|Aug 20, 2019

Computer Graphics and Visualization Techniques参考文献 51被引用 5

一句话总结

DeepSketchHair 提出了一种深度学习框架，通过三种基于 GAN 的网络，从 2D 草图生成高质量、丝状级别的 3D 头发模型：S2ONet 用于预测 2D 方向场，O2VNet 在深度引导下生成 3D 向量场，V2VNet 用于多视角编辑。该系统实现了直观、交互式的 3D 头发建模，用户可指定草图，并在多种风格下生成逼真、细节丰富的发型。

ABSTRACT

We present sketchhair, a deep learning based tool for interactive modeling of 3D hair from 2D sketches. Given a 3D bust model as reference, our sketching system takes as input a user-drawn sketch (consisting of hair contour and a few strokes indicating the hair growing direction within a hair region), and automatically generates a 3D hair model, which matches the input sketch both globally and locally. The key enablers of our system are two carefully designed neural networks, namely, S2ONet, which converts an input sketch to a dense 2D hair orientation field; and O2VNet, which maps the 2D orientation field to a 3D vector field. Our system also supports hair editing with additional sketches in new views. This is enabled by another deep neural network, V2VNet, which updates the 3D vector field with respect to the new sketches. All the three networks are trained with synthetic data generated from a 3D hairstyle database. We demonstrate the effectiveness and expressiveness of our tool using a variety of hairstyles and also compare our method with prior art.

研究动机与目标

• 实现无需专家技能的直观、交互式 3D 头发建模。
• 解决现有基于图像的方法无法支持自由形式用户设计或编辑的局限性。
• 通过深度学习从稀疏的 2D 输入生成逼真的丝状级别 3D 头发，以克服 3D 头发建模的复杂性。
• 通过从不同视角获取的新草图更新 3D 向量场，支持多视角编辑。
• 构建一个在可用性、表现力和几何保真度之间取得平衡的 3D 头发生成系统。

提出的方法

• S2ONet 是一种基于 GAN 的像素到像素的转换网络，将 2D 草图（头发轮廓和方向线条）转换为密集的 2D 头发方向场。
• O2VNet 是另一种基于 GAN 的网络，利用 3D 身体模型的深度图作为空间引导，将 2D 方向场映射为 3D 向量场。
• 3D 向量场通过类似物理的模拟过程生成逼真的丝状级别头发几何结构。
• V2VNet 通过体素到体素的转换实现多视角编辑，基于不同视角的新 2D 草图更新 3D 向量场。
• 所有网络均在从 3D 发型数据库生成的合成数据上进行训练，以确保多样性和泛化能力。
• 辅助工具允许对生成的头发模型进行微调，以增强用户控制力。

实验结果

研究问题

• RQ1 基于深度学习的系统能否从最少的 2D 草图输入生成高质量、丝状级别的 3D 头发模型？
• RQ2 基于 GAN 的网络在多大程度上能从稀疏的用户绘制线条中预测密集的 2D 头发方向场？
• RQ3 能否通过深度引导的 GAN 准确地从 2D 方向场重建 3D 向量场？
• RQ4 多视角 2D 草图在多大程度上可用于实时迭代地精炼和编辑 3D 头发模型？
• RQ5 投影损失和拉普拉斯损失等损失函数在多大程度上提升了生成的 3D 头发场的逼真度和光滑度？

主要发现

• 消融实验中，S2ONet 的均方误差（MSE）为 4.01，显著优于基线方法如拉普拉斯扩散（6.98）和随机选择（6.60）。
• O2VNet 在使用投影损失和拉普拉斯损失时，生成的 3D 方向场更加平滑，且与真实值匹配更好，尽管 MSE 值相近。
• 消融研究显示，使用完整损失函数的 O2VNet 比无这些损失的模型展现出更真实的卷曲效果和更强的方向一致性。
• V2VNet 在保留先前视角特征和准确填充遮挡区域方面优于 Delanoy 等人 [37] 的方法，尤其在多视角编辑中表现更优。
• 该系统成功生成了包括波浪形、卷曲形、锯齿形和光滑形在内的复杂发型，展现出广泛的表达能力。
• 局限性在于，由于分辨率固定且训练数据中缺乏此类风格，难以建模高密度发型（如非洲发）的精细细节。