[论文解读] Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos

Sida Peng, Zhi Xu+6 more|arXiv (Cornell University)|Mar 15, 2022

Human Pose and Action Recognition被引用 11

一句话总结

本文提出了一种新颖的框架，通过将规范神经辐射场与基于线性混合皮肤的姿势驱动形变场相结合，从多视角视频中创建可动画化的3D人体模型。该方法利用可学习的混合权重和骨骼运动，实现对新姿态的显式控制，在视图合成与3D重建方面达到最先进性能，尤其通过使用符号距离场（SDF）提升了几何质量。

ABSTRACT

This paper addresses the challenge of reconstructing an animatable human model from a multi-view video. Some recent works have proposed to decompose a non-rigidly deforming scene into a canonical neural radiance field and a set of deformation fields that map observation-space points to the canonical space, thereby enabling them to learn the dynamic scene from images. However, they represent the deformation field as translational vector field or SE(3) field, which makes the optimization highly under-constrained. Moreover, these representations cannot be explicitly controlled by input motions. Instead, we introduce a pose-driven deformation field based on the linear blend skinning algorithm, which combines the blend weight field and the 3D human skeleton to produce observation-to-canonical correspondences. Since 3D human skeletons are more observable, they can regularize the learning of the deformation field. Moreover, the pose-driven deformation field can be controlled by input skeletal motions to generate new deformation fields to animate the canonical human model. Experiments show that our approach significantly outperforms recent human modeling methods. The code is available at https://zju3dv.github.io/animatable_nerf/.

研究动机与目标

• 通过直接从多视角视频重建可动画化3D人体模型，降低其成本与复杂性。
• 通过引入带有骨骼先验的姿势驱动形变场，解决动态NeRF中的欠约束优化问题。
• 通过输入骨骼运动实现对重建模型的显式动画，克服向量场或SE(3)场表示的局限性。
• 通过探索符号距离场（SDF）作为规范空间中密度场的替代方案，提升几何保真度。

提出的方法

• 该方法将动态人体分解为规范神经辐射场和将观测空间点映射到规范空间的姿势驱动形变场。
• 形变场基于线性混合皮肤构建，其中混合权重被建模为每个3D点的神经场，以捕捉复杂形变。
• 规范神经场可表示为密度/颜色场或符号距离场（SDF），其中SDF提供更好的几何正则化。
• 模型通过在多视角视频序列上使用体素渲染进行端到端训练，以骨骼姿态作为监督信号，以正则化形变学习。
• 另一种方法使用姿态依赖的位移场，将刚性运动与非刚性衣物形变分离。
• 该框架通过在学习到的形变场中应用新骨骼姿态，支持新视图合成与新动作动画。

实验结果

研究问题

• RQ1 基于线性混合皮肤的姿势驱动形变场是否能提升动态NeRF在人体建模中的可控性与正则化效果？
• RQ2 与密度场相比，使用符号距离场（SDF）在可动画化人体模型的几何重建质量方面表现如何？
• RQ3 单视角或多视角视频序列在多大程度上能够实现复杂人体动作的高质量重建与动画？
• RQ4 该方法能否泛化到穿着宽松衣物的表演者，其中非刚性形变更显著？
• RQ5 训练帧数与输入视角数量如何影响模型在视图合成与重建方面的性能？

主要发现

• 该方法在Human3.6M、ZJU-MoCap、MonoCap和SyntheticHuman数据集上的图像合成任务中达到最先进性能。
• 在规范表示中使用符号距离场（SDF）显著提升了3D重建质量，尤其在合成基准上表现突出。
• 在150–300帧视频上训练的模型达到最佳性能，超过300帧后收益递减。
• 即使仅使用单视角设置，也能实现良好的渲染质量，表明该方法对有限输入视角具有鲁棒性。
• 在800帧数据上训练的模型在S9受试者上达到PSNR 24.48和SSIM 0.895，表明长序列下性能稳定。
• 尽管在捕捉细小衣物褶皱方面存在局限，该方法仍能成功重建复杂动作下的合理人体形状，尤其在贴身衣物上表现更优。