[论文解读] Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models

Alexander W. Bergman, Yifan Wang+1 more|arXiv (Cornell University)|Jul 10, 2023

Face recognition and analysis被引用 4

一句话总结

本文提出了一种新颖的方法，利用预训练的2D文本到图像扩散模型，从文本提示生成关节式3D头部形象。通过在双阶段、分阶段优化过程中同时优化参数化3D形态模型（3DMM）的几何与纹理，该方法生成了具有照片级真实感、视角一致且可动画化的头部形象，在语义对齐和多样性方面优于基于CLIP的基线方法。

ABSTRACT

The ability to generate diverse 3D articulated head avatars is vital to a plethora of applications, including augmented reality, cinematography, and education. Recent work on text-guided 3D object generation has shown great promise in addressing these needs. These methods directly leverage pre-trained 2D text-to-image diffusion models to generate 3D-multi-view-consistent radiance fields of generic objects. However, due to the lack of geometry and texture priors, these methods have limited control over the generated 3D objects, making it difficult to operate inside a specific domain, e.g., human heads. In this work, we develop a new approach to text-guided 3D head avatar generation to address this limitation. Our framework directly operates on the geometry and texture of an articulable 3D morphable model (3DMM) of a head, and introduces novel optimization procedures to update the geometry and texture while keeping the 2D and 3D facial features aligned. The result is a 3D head avatar that is consistent with the text description and can be readily articulated using the deformation model of the 3DMM. We show that our diffusion-based articulated head avatars outperform state-of-the-art approaches for this task. The latter are typically based on CLIP, which is known to provide limited diversity of generation and accuracy for 3D object generation.

研究动机与目标

• 解决现有文本到3D生成方法在人类头部生成中控制性不足和真实感差的问题。
• 克服辐射场表示在实现关节运动和领域特定控制方面的局限性。
• 利用2D文本到图像扩散模型作为先验，指导3D头部形象生成，实现高语义保真度。
• 直接在参数化3DMM上优化形状与外观，以生成可动画化的形象。
• 相比基于CLIP的方法，提升生成结果的多样性与准确性，后者存在语义对齐有限和多样性不足的问题。

提出的方法

• 使用参数化3D形态模型（3DMM）作为可微分模板，用于几何与纹理的优化。
• 利用潜在扩散模型解码器优化顶点位置和纹理特征图，以生成视角一致的图像。
• 采用两阶段、分阶段的优化策略：首先仅优化纹理，随后联合优化几何与外观。
• 引入基于分割的监督损失（$\mathcal{L}_{\textrm{seg}}$），使预测的轮廓与文本提示对齐。
• 在渲染流程中引入alpha混合着色提示，以提升几何与纹理的一致性以及面部特征对齐。
• 利用CLIP-R分数评估多个CLIP模型上的文本-图像一致性，通过分数蒸馏指导优化过程。

实验结果

研究问题

• RQ1 预训练的2D文本到图像扩散模型能否有效用于生成多样化、3D视角一致的头部形象，并显式控制几何与纹理？
• RQ2 先分阶段优化纹理，再联合优化几何与外观的调度策略，如何提升生成质量与稳定性？
• RQ3 引入分割与着色提示在多大程度上增强了几何一致性与面部特征对齐？
• RQ4 与基于CLIP的基线方法相比，该方法在语义对齐与视觉质量方面表现如何？
• RQ5 生成的头部形象是否能通过3DMM形变模型有效实现关节动画化，同时保持与提示的一致性？

主要发现

• 所提方法在所有提示上的平均CLIP-R得分为83.2，比第二好的基线（ClipFace）高出8.2分。
• 消融研究显示，若移除分割损失（$\mathcal{L}_{\textrm{seg}}$），几何一致性下降，导致几何部分的CLIP-R下降1.7分。
• 若省略分阶段优化，平均CLIP-R下降4.4分，表明其对稳定收敛具有关键作用。
• 若移除着色提示，面部特征出现错位，且几何部分的CLIP-R下降14.1分，凸显其在引导几何优化中的重要性。
• 视觉结果表明，完整方法生成的头部形象具有准确的面部特征、一致的纹理，并能正确对齐复杂提示（如“戴着尖顶帽的巫师”）。
• 该方法成功生成了多样化、具有风格化特征且虚构的人形头部形象，这些形象难以通过先前方法合成，展现出广泛的提示泛化能力。