[论文解读] AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

Thu Nguyen-Phuoc, Gabriel Schwartz+3 more|arXiv (Cornell University)|May 30, 2023

Human Motion and Animation被引用 5

一句话总结

AlteredAvatar 引入了一种元学习框架，仅通过少量优化步骤即可实现对动态3D化身的快速、高保真风格迁移。通过元训练学习最优网络初始化，其性能可与直接优化相媲美，同时支持通过文本或图像提示实现灵活的风格控制。

ABSTRACT

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.

研究动机与目标

• 实现动态3D化身在无需重新训练的情况下，快速适配至新颖、未见过的风格。
• 克服直接优化（速度慢）和前馈网络（泛化能力差、质量低）在3D化身风格迁移中的局限性。
• 通过CLIP特征编码，支持使用文本描述、参考图像或两者结合实现灵活的风格控制。
• 在风格迁移过程中保持身份一致性，确保不同表情和视角下的外观稳定性。
• 在不增加底层化身表示参数量的前提下，实现高保真度风格迁移。

提出的方法

• 利用元学习训练网络初始化，使模型仅通过少量优化步骤即可快速适应新风格。
• 采用双层优化框架：内层循环针对单一风格进行优化，外层循环学习在多种风格间具有泛化能力的初始化。
• 使用CLIP特征编码文本风格描述，实现输入文本与目标风格之间的语义对齐。
• 结合CLIP文本特征与参考图像特征，实现文本+图像的混合风格控制。
• 在优化过程中应用身份损失（$\mathcal{L}_{\text{ID}}$）和风格损失（$\mathcal{L}_{\text{style}}$），以保持身份特征并应用目标风格。
• 推理时仅微调Instant Avatar网络的一小部分参数，确保推理高效且可扩展。

实验结果

研究问题

• RQ1 元学习初始化是否能实现仅通过极少优化步骤即完成快速且高质量的动态3D化身风格迁移？
• RQ2 与仅使用图像的方法相比，基于CLIP的文本编码在支持语义上合理的风格迁移方面表现如何？
• RQ3 结合文本与图像提示是否能提升化身风格迁移的灵活性与表现力？
• RQ4 与直接优化和前馈风格迁移网络相比，AlteredAvatar在质量与速度方面表现如何？
• RQ5 AlteredAvatar在风格迁移过程中，对身份与视角一致性的保持程度如何？

主要发现

• AlteredAvatar 仅经过50次优化步骤后，即可达到与直接优化相当的风格迁移质量，同时显著提升速度。
• 该方法在泛化至新风格方面优于任务混合与HyperDomainNet，尤其在多领域设置下表现更优。
• 使用CLIP特征可实现仅通过文本描述即完成有效风格迁移，结果具有语义一致性。
• 在不同面部表情和视角下，风格迁移结果保持一致，成功保留了化身的身份特征。
• 该方法维持了高视觉保真度，避免了基线方法中常见的表情抑制与不自然阴影伪影。
• 身份保持超参数 $\lambda_{\text{ID}}$ 有效控制了风格迁移强度与原始身份保真度之间的权衡。