[论文解读] GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians

Shenhan Qian, Tobias Kirschstein+4 more|arXiv (Cornell University)|Dec 4, 2023

Face recognition and analysis被引用 5

一句话总结

GaussianAvatars 提出了一种使用绑定至参数化可变形人脸模型（FLAME）的3D高斯斑点生成逼真头像的方法，实现了对表情、姿态和视角的完全控制。通过联合优化FLAME参数与高斯斑点的位置，并采用绑定继承策略，该方法在新颖视角渲染和重演质量方面优于当前最先进方法，在指标和视觉保真度上均表现更优。

ABSTRACT

We introduce GaussianAvatars, a new method to create photorealistic head avatars that are fully controllable in terms of expression, pose, and viewpoint. The core idea is a dynamic 3D representation based on 3D Gaussian splats that are rigged to a parametric morphable face model. This combination facilitates photorealistic rendering while allowing for precise animation control via the underlying parametric model, e.g., through expression transfer from a driving sequence or by manually changing the morphable model parameters. We parameterize each splat by a local coordinate frame of a triangle and optimize for explicit displacement offset to obtain a more accurate geometric representation. During avatar reconstruction, we jointly optimize for the morphable model parameters and Gaussian splat parameters in an end-to-end fashion. We demonstrate the animation capabilities of our photorealistic avatar in several challenging scenarios. For instance, we show reenactments from a driving video, where our method outperforms existing works by a significant margin.

研究动机与目标

• 创建具有表情、姿态和视角完全控制能力的逼真可动画化头像。
• 解决在动态头像中同时实现高保真新颖视角渲染与精确动画控制的挑战。
• 通过引入参数化人脸模型实现显式几何控制，克服NeRF与3D高斯斑点在动态场景动画中的局限性。
• 在保持视觉保真度的前提下，实现对新表情与姿态的鲁棒动画，通过约束高斯斑点的分布来达成。
• 开发一种绑定继承策略，支持动态添加和移除高斯斑点，同时不损失控制能力。

提出的方法

• 该方法在FLAME网格每个三角形的中心初始化3D高斯斑点，每个斑点通过其父三角形的运动实现刚性变换。
• 提出一种绑定继承策略，支持在保持对底层参数化模型控制的前提下动态添加或移除高斯斑点。
• 对FLAME参数与高斯斑点参数（包括位置、尺度和颜色）进行联合优化，以实现精确的几何与外观建模。
• 通过位置损失约束高斯斑点保持在网格表面附近，防止在未见面部动作的动画中产生伪影。
• 引入小容忍度的尺度正则化，确保高斯斑点保持足够大小以形成不透明表面，并能处理遮挡。
• 在重建过程中端到端微调FLAME参数，以提升几何精度与表情保真度。

实验结果

研究问题

• RQ1 能否有效将3D高斯斑点绑定至参数化人脸模型，以实现可控的逼真头像动画？
• RQ2 如何在保持动画控制能力与几何保真度的前提下，动态添加或移除高斯斑点？
• RQ3 何种优化策略可实现在动态头像中高保真新颖视角渲染与准确表情迁移？
• RQ4 绑定继承在新表情与姿态动画中能在多大程度上提升鲁棒性？
• RQ5 与独立优化相比，联合优化FLAME与高斯参数在视觉质量与控制能力方面表现如何？

主要发现

• 在新颖视角合成任务中，GaussianAvatars 的 PSNR 达到 28.8，SSIM 达到 0.883，两项指标均优于当前最先进方法。
• 在自重演任务中，PSNR 达到 25.1，SSIM 达到 0.853，感知误差显著低于基线方法。
• 消融实验表明，若禁用绑定继承，PSNR 降至 26.8，表明因高斯斑点尺度与分布失控导致保真度大幅下降。
• 若不施加尺度正则化，图像质量略有下降；但若移除容差阈值，PSNR 会骤降至 25.0，证明受控尺度的必要性。
• 若省略位置损失，训练指标最优（PSNR 29.7），但在动画中产生严重伪影（如裂缝与漂浮斑点），证明其对泛化能力的关键作用。
• 若禁用FLAME微调，新颖视角合成的PSNR降至26.1，重演任务中感知误差更高，证实其在提升几何精度方面的重要作用。