[论文解读] AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars

Fangzhou Hong, Mingyuan Zhang+4 more|arXiv (Cornell University)|May 17, 2022

Human Motion and AnimationEngineering被引用 18

一句话总结

AvatarCLIP 引入了一种零样本、以文本为驱动的框架，仅通过自然语言描述即可生成并动画化3D化身。通过利用CLIP进行视觉-语言监督，并结合形状/运动VAE与神经渲染技术，该方法在无需专家输入或成对训练数据的情况下，实现了高保真度、可动画化的3D化身，展现出在多样化文本提示下的强大零样本泛化能力。

ABSTRACT

3D avatar creation plays a crucial role in the digital age. However, the whole production process is prohibitively time-consuming and labor-intensive. To democratize this technology to a larger audience, we propose AvatarCLIP, a zero-shot text-driven framework for 3D avatar generation and animation. Unlike professional software that requires expert knowledge, AvatarCLIP empowers layman users to customize a 3D avatar with the desired shape and texture, and drive the avatar with the described motions using solely natural languages. Our key insight is to take advantage of the powerful vision-language model CLIP for supervising neural human generation, in terms of 3D geometry, texture and animation. Specifically, driven by natural language descriptions, we initialize 3D human geometry generation with a shape VAE network. Based on the generated 3D human shapes, a volume rendering model is utilized to further facilitate geometry sculpting and texture generation. Moreover, by leveraging the priors learned in the motion VAE, a CLIP-guided reference-based motion synthesis method is proposed for the animation of the generated 3D avatar. Extensive qualitative and quantitative experiments validate the effectiveness and generalizability of AvatarCLIP on a wide range of avatars. Remarkably, AvatarCLIP can generate unseen 3D avatars with novel animations, achieving superior zero-shot capability.

研究动机与目标

• 通过消除对专业软件和专家知识的需求，实现3D化身创建的民主化。
• 解决缺乏高质量、以文本为条件的3D化身数据集以供监督训练的问题。
• 仅通过自然语言实现新颖3D化身和动作的零样本生成。
• 确保生成的化身在几何上准确、具有纹理，并可通过神经渲染和运动先验实现动画化。
• 克服现有方法依赖成对数据或泛化能力差的局限性。

提出的方法

• 使用形状VAE从文本初始化3D人体几何结构，由CLIP嵌入引导。
• 在渲染图像上应用CLIP监督，通过神经渲染优化纹理和几何结构。
• 在优化过程中施加模板网格约束，以保持合理的身体形状。
• 采用CLIP引导的参考式合成方法，结合运动VAE生成基于文本的动作序列。
• 通过潜在空间优化生成候选姿态，并利用基于CLIP的姿态一致性损失进行精炼。
• 从隐式表示中提取显式网格，以支持后续动画和渲染。

实验结果

研究问题

• RQ1 是否能够通过零样本、以文本为驱动的方法，在无需成对训练数据或专家输入的情况下，生成多样化且高质量的3D化身？
• RQ2 当应用于渲染图像时，CLIP监督在引导3D几何与纹理生成方面表现如何？
• RQ3 结合CLIP的运动VAE先验是否能够实现在无动作-文本成对数据情况下的真实感、对齐文本的动作合成？
• RQ4 该方法在未见过的化身和复杂动作描述上的泛化能力如何？
• RQ5 由于CLIP的固定文本编码，从同一提示生成多样化结果时存在哪些局限性？

主要发现

• AvatarCLIP 实现了卓越的零样本泛化能力，能够从自然语言提示中生成具有多样化形状、纹理和动作的新颖3D化身。
• 该方法生成的几何与纹理质量优异，经定性对比验证，相较于Text2Mesh和Dream Field具有明显优势。
• 动作合成性能优于直接优化和多模态Real NVP的采样方法，在用户研究中得分更高。
• 使用不同随机种子的多次运行结果保持一致，表明其鲁棒性优于如Text2Mesh等不稳定基线方法。
• 该框架能有效处理多样化输入，包括名人姓名、虚构角色，以及对服装和外貌的详细描述。
• 在处理复杂动作和精细控制时出现失败案例，表明其在生成分布外或高度风格化的动作方面仍存在局限性。