[论文解读] Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis

Wei Cheng, Xu Su+5 more|arXiv (Cornell University)|Apr 25, 2022

3D Shape Modeling and Analysis被引用 20

一句话总结

该论文提出了 Generalizable Neural Performer (GNR)，是一种面向稀疏视图的自由视点人体合成的可泛化隐式辐射场框架，结合隐式几何人体嵌入与屏幕空间遮挡感知的外观混合，实现跨主体和跨姿态的稳健渲染，无需对每个案例进行微调。还提出了 GeneBody-1.0 数据集用于稳健评估。

ABSTRACT

This work targets at using a general deep learning framework to synthesize free-viewpoint images of arbitrary human performers, only requiring a sparse number of camera views as inputs and skirting per-case fine-tuning. The large variation of geometry and appearance, caused by articulated body poses, shapes and clothing types, are the key bottlenecks of this task. To overcome these challenges, we present a simple yet powerful framework, named Generalizable Neural Performer (GNR), that learns a generalizable and robust neural body representation over various geometry and appearance. Specifically, we compress the light fields for novel view human rendering as conditional implicit neural radiance fields from both geometry and appearance aspects. We first introduce an Implicit Geometric Body Embedding strategy to enhance the robustness based on both parametric 3D human body model and multi-view images hints. We further propose a Screen-Space Occlusion-Aware Appearance Blending technique to preserve the high-quality appearance, through interpolating source view appearance to the radiance fields with a relax but approximate geometric guidance. To evaluate our method, we present our ongoing effort of constructing a dataset with remarkable complexity and diversity. The dataset GeneBody-1.0, includes over 360M frames of 370 subjects under multi-view cameras capturing, performing a large variety of pose actions, along with diverse body shapes, clothing, accessories and hairdos. Experiments on GeneBody-1.0 and ZJU-Mocap show better robustness of our methods than recent state-of-the-art generalizable methods among all cross-dataset, unseen subjects and unseen poses settings. We also demonstrate the competitiveness of our model compared with cutting-edge case-specific ones. Dataset, code and model will be made publicly available.

研究动机与目标

• 解决在稀疏多视图输入下，无需对每个主体进行微调就能合成任意人体执行者的自由视点图像的挑战。
• 开发一个稳健、可泛化的神经体表示，能够处理姿态、形状和服装的变化。
• 结合几何先验和源视图外观线索，以在各视图间提高几何保真度和外观真实感。
• 提供一个多样的多视图数据集（GeneBody-1.0），用于基准测试可泛化的人体渲染。

提出的方法

• 引入隐式几何体嵌入，以基于 SMPLx 的几何与多视图线索为条件，调制神经辐射场。
• 基于 SMPLx 表面+规范空间语义嵌入的有符号距离函数（SDF）来锚定身体几何。
• 提取并融合多视图图像特征与人体嵌入，以在条件 NeRF 框架中指导辐射场。
• 提出 Screen-Space Occlusion-Aware Appearance Blending (SSOA-AB)，将混合分解为遮挡图与视图注意力驱动的混合，允许源视纹理在纠正辐射预测的同时，减小未观测区域的鬼影。
• 通过带体积渲染的条件 NeRF 进行渲染，使用光度与几何损失（包括当有3D地面真相时的占据与遮挡监督）进行训练。
• 在 GeneBody-1.0 与 ZJU-Mocap 上进行训练与评估，并与泛化基线（pixelNerf、IBRNet）以及特定案例方法（NeuralBody、NeuralTexture、NHR、NeuralVolumes）进行比较。

实验结果

研究问题

• RQ1 一个单模型是否能够学习出可泛化且鲁棒的隐式身体表示，以在没有对个体进行微调的情况下为任意人体执行者合成高质量的新视角？
• RQ2 如何将几何先验与多视图源提示整合，以提高对姿态与服装变化的鲁棒性？
• RQ3 屏幕空间遮挡感知混合是否能够在稀疏输入下实现无鬼影的外观和更好的多视图一致性？
• RQ4 与最先进的泛化与特定案例方法相比，该方法在未见主体和未见姿态上的表现如何？

主要发现

• GNR 在 GeneBody-1.0 与 ZJU-Mocap 上对未见ID与未见姿态实现领先的渲染质量，相较于泛化基线。
• GNR 展现出稳健的几何对齐和高质量的外观，即使在服装或姿态具有挑战性时，也优于若干最先进的方法。
• 消融研究表明，隐式身体嵌入、基于注意力的外观混合，以及屏幕空间遮挡感知混合都对几何、渲染与外观保真度的提升起到了贡献作用。
• 在合成 RenderPeople 数据上，GNR 相对于基线在3D几何重建（更低的 Chamfer 距离）和图像质量（PSNR/SSIM）方面表现突出。
• GeneBody-1.0 数据集提供了多样化的主体、姿态与服装，用于在接近真实世界情景的场景中基准测试可泛化的人体渲染。
• 若没有身体嵌入、注意力或遮挡感知混合中的任一组件，GNR 的性能会下降，强调了各组件的重要性。