[论文解读] GaussianHair: Hair Modeling and Rendering with Light-aware Gaussians

Haimin Luo, Min Ouyang+7 more|arXiv (Cornell University)|Feb 16, 2024

3D Shape Modeling and Analysis被引用 4

一句话总结

GaussianHair 提出了一种新颖的显式毛发表示方法，通过连接的圆柱形3D高斯分布来建模毛发的几何形状与外观，从而实现高保真度、可微分的体渲染，并无缝集成到传统计算机图形学工作流中。该方法在几何与外观保真度方面达到最先进水平，支持实时全局光照、编辑与动态动画，并采用专用的散射模型在复杂光照条件下提升真实感。

ABSTRACT

Hairstyle reflects culture and ethnicity at first glance. In the digital era, various realistic human hairstyles are also critical to high-fidelity digital human assets for beauty and inclusivity. Yet, realistic hair modeling and real-time rendering for animation is a formidable challenge due to its sheer number of strands, complicated structures of geometry, and sophisticated interaction with light. This paper presents GaussianHair, a novel explicit hair representation. It enables comprehensive modeling of hair geometry and appearance from images, fostering innovative illumination effects and dynamic animation capabilities. At the heart of GaussianHair is the novel concept of representing each hair strand as a sequence of connected cylindrical 3D Gaussian primitives. This approach not only retains the hair's geometric structure and appearance but also allows for efficient rasterization onto a 2D image plane, facilitating differentiable volumetric rendering. We further enhance this model with the "GaussianHair Scattering Model", adept at recreating the slender structure of hair strands and accurately capturing their local diffuse color in uniform lighting. Through extensive experiments, we substantiate that GaussianHair achieves breakthroughs in both geometric and appearance fidelity, transcending the limitations encountered in state-of-the-art methods for hair reconstruction. Beyond representation, GaussianHair extends to support editing, relighting, and dynamic rendering of hair, offering seamless integration with conventional CG pipeline workflows. Complementing these advancements, we have compiled an extensive dataset of real human hair, each with meticulously detailed strand geometry, to propel further research in this field.

研究动机与目标

• 为数字内容创作中多样化的人类发型实现逼真且实时的毛发建模与渲染。
• 克服隐式神经表示在动画、全局光照与CG工作流兼容性方面的局限性。
• 开发一种显式且可微分的毛发表示方法，支持从图像中进行几何重建、外观建模与动态渲染。
• 通过大规模、带标注的数据集捕捉全球多样化的发质，实现数字人构建中的文化包容性。
• 提供与现有计算机图形工作流兼容的生产就绪解决方案，支持编辑、全局光照与动画。

提出的方法

• 将每根毛发表示为一系列连接的圆柱形3D高斯基元，以保留几何与外观细节。
• 提出 GaussianHair 散射模型，结合 Marschner 模型原理与 UE4 的实时渲染技术，实现精确的光相互作用。
• 采用可微分体渲染技术，实现从多视角图像对几何与外观的端到端优化。
• 利用神经逆向渲染方法，联合优化反照率、粗糙度与BRDF参数，以提升真实感。
• 将重建的毛发丝模型导入传统CG渲染器，以支持动态动画（如风力模拟）。
• 构建 RealHair 数据集，包含281段高分辨率视频（每段3000帧），每段均带有详细的丝级几何与分割信息，用于训练与评估。

实验结果

研究问题

• RQ1 基于3D高斯的显式表示是否能在几何与外观保真度方面超越隐式神经方法？
• RQ2 GaussianHair 散射模型在模拟多种光照交互（如多次散射与颜色变化）方面，对多样化发质的模拟效果如何？
• RQ3 重建的毛发模型在标准CG工作流中支持实时全局光照与动态动画的程度如何？
• RQ4 该方法能否泛化至复杂发型（如编发与螺旋发）？是否存在固有的结构限制？
• RQ5 该方法在从消费级智能手机视频中捕捉具有文化多样性的发质方面效果如何？

主要发现

• GaussianHair 在毛发重建方面实现了最先进水平的几何与外观保真度，在视觉质量与细节表现上超越现有隐式与显式方法。
• GaussianHair 散射模型可在普通与电影级光照条件下实现逼真渲染，准确模拟光穿透、阴影与颜色变化。
• 该方法可无缝集成至传统CG工作流，支持使用标准渲染引擎实现实时全局光照与动态动画。
• RealHair 数据集包含281段4K视频，附带详细的丝级标注，为未来研究提供了文化多样性高、质量优异的基准。
• 该方法支持逐根毛发的编辑、全局光照与动画，展现出与生产工作流的强兼容性。
• 尽管在建模复杂内部结构（如编发）方面存在局限，该方法在从消费级输入实现可扩展、高保真毛发建模方面展现出巨大潜力。