[论文解读] Hair-GANs: Recovering 3D Hair Structure from a Single Image

Meng Zhang, Youyi Zheng|arXiv (Cornell University)|Nov 15, 2018

Computer Graphics and Visualization Techniques参考文献 26被引用 6

一句话总结

Hair-GANs 提出了一种基于 GAN 的架构，通过生成编码头发占据状态和方向的 3D 体积场，从单张 2D 图像中恢复出详细的 3D 头发结构。它采用带有维度扩展层的条件 GAN 和对抗性训练，结合像素级损失与潜在空间损失，即使在未见过的发型上也能实现高保真度、视角一致的头发模型。

ABSTRACT

We introduce Hair-GANs, an architecture of generative adversarial networks, to recover the 3D hair structure from a single image. The goal of our networks is to build a parametric transformation from 2D hair maps to 3D hair structure. The 3D hair structure is represented as a 3D volumetric field which encodes both the occupancy and the orientation information of the hair strands. Given a single hair image, we first align it with a bust model and extract a set of 2D maps encoding the hair orientation information in 2D, along with the bust depth map to feed into our Hair-GANs. With our generator network, we compute the 3D volumetric field as the structure guidance for the final hair synthesis. The modeling results not only resemble the hair in the input image but also possesses many vivid details in other views. The efficacy of our method is demonstrated by using a variety of hairstyles and comparing with the prior art.

研究动机与目标

• 解决单视角 3D 头发建模的挑战，该挑战缺乏深度线索，且通常依赖大型数据库或贪婪检索方法。
• 克服先前数据驱动和自编码方法的局限性，这些方法将结果限制在示例形状上，并存在模糊或泛化能力差的问题。
• 开发一种深度生成模型，学习从 2D 到 3D 的直接、感知准确的映射，无需多视角输入或外部数据库。
• 通过对抗性训练和潜在空间监督，提升 3D 头发的细节和跨视角的一致性。
• 通过避免对大型数据库的依赖，实现高效、实时推理，适用于移动设备和 VR/AR 应用。

提出的方法

• 该方法采用条件 GAN 框架，其中生成器将 2D 头发方向图和胸部深度图映射为编码头发占据状态和丝状方向的 3D 体积场。
• 引入维度扩展层，将一系列 2D 特征图转换为单通道 3D 特征图，使 2D 卷积神经网络能够进行 3D 推理。
• 生成器通过混合损失函数进行训练，结合体素级输出的 L2 损失和选定判别器层中特征分布相似性的感知损失。
• 通过最小化判别器区分真实 3D 场与生成场的能力，进行对抗性训练，以鼓励生成更真实、细节更丰富的结构。
• 网络以 2D 输入图像、解析后的头发掩码和胸部深度图作为条件，为头发生长提供深度先验。
• 生成 3D 体积场后，通过头发丝追踪方法合成具有高几何保真度的完整 3D 头发模型。

实验结果

研究问题

• RQ1 基于 GAN 的架构能否在不依赖大型现有头发数据库的前提下，有效学习从单张 2D 图像推断 3D 头发结构？
• RQ2 如何有效将 2D 卷积特征转换为保留深度和方向信息的 3D 体积表示？
• RQ3 与标准 L2 损失或自编码损失相比，结合潜在空间监督的对抗性训练能否提升生成 3D 头发模型的感知质量和结构细节？
• RQ4 该模型在训练数据中未出现的发型上泛化能力如何？
• RQ5 该方法能否在多个视角上生成一致且高质量的头发模型，尤其是在远离输入图像的视角？

主要发现

• 所提出的 Hair-GANs 方法即使在复杂且未见过的发型上，也能生成具有高感知质量的 3D 头发模型，包括精细细节和跨视角的一致结构。
• 该方法在数据准备阶段耗时不足 3 秒，3D 场生成约 1 秒，完整头发合成耗时不足 30 秒，适用于实时应用。
• 与基线 WGAN-GP 和 L2 损失训练相比，所提出的损失函数显著减少了噪声和模糊，生成了更清晰、更真实的体积场。
• 与先前方法如 Chai 等 [1]、Saito 等 [12] 和 Zhou 等 [11] 相比，该方法在匹配头发轮廓和方向场方面表现更优，尤其在非正面视角下。
• 体积输出在投影掩码和方向图上均与真实值高度对齐，表明结构重建准确。
• 该方法在多种发型（包括卷发和长发）上泛化良好，无需从现有数据库中检索。