[论文解读] Learning Compositional Radiance Fields of Dynamic Human Heads

Ziyan Wang, Timur Bagautdinov+5 more|arXiv (Cornell University)|Dec 17, 2020

3D Shape Modeling and Analysis参考文献 34被引用 11

一句话总结

本文提出了一种用于从多视角视频合成高保真、视角一致的动态人像头部图像的组合式辐射场框架。它采用了解耦的潜在空间，结合3D条件解码器与优化MLP，以建模视角相关的外观与几何特征，实现了高质量的新视角合成以及在新序列上微调量极少的可控表情动画。

ABSTRACT

Photorealistic rendering of dynamic humans is an important ability for telepresence systems, virtual shopping, synthetic data generation, and more. Recently, neural rendering methods, which combine techniques from computer graphics and machine learning, have created high-fidelity models of humans and objects. Some of these methods do not produce results with high-enough fidelity for driveable human models (Neural Volumes) whereas others have extremely long rendering times (NeRF). We propose a novel compositional 3D representation that combines the best of previous methods to produce both higher-resolution and faster results. Our representation bridges the gap between discrete and continuous volumetric representations by combining a coarse 3D-structure-aware grid of animation codes with a continuous learned scene function that maps every position and its corresponding local animation code to its view-dependent emitted radiance and local volume density. Differentiable volume rendering is employed to compute photo-realistic novel views of the human head and upper body as well as to train our novel representation end-to-end using only 2D supervision. In addition, we show that the learned dynamic radiance field can be used to synthesize novel unseen expressions based on a global animation code. Our approach achieves state-of-the-art results for synthesizing novel views of dynamic human heads and the upper body.

研究动机与目标

• 从多视角视频实现高保真、视角一致的动态人像头部新视角合成。
• 利用解耦潜在表征，建模动态面部表情中的复杂视角相关外观与几何特征。
• 通过潜在空间采样与关键点驱动控制实现可控动画。
• 通过极少微调（尤其是仅微调编码器）实现对新头部序列的快速适应。
• 实现对表情与视角变化具有细粒度控制的逼真渲染。

提出的方法

• 一个2D图像编码器将输入图像回归为256维潜在向量（含均值与方差），以支持解耦表征学习。
• 一个3D条件解码器使用转置3D卷积，从潜在码生成粗粒度的对数透明度、颜色与空间特征体素。
• 优化MLP接收3D坐标与空间特征，预测细粒度的透明度与颜色，通过相机方向与视角特异性特征注入视角相关特征。
• 对3D坐标应用位置编码，以增强归纳偏差，并在优化网络中实现对细节的精细建模。
• 模型采用多阶段采样方案，每条射线包含128个粗粒度与32个细粒度查询点，并使用包含颜色、透明度与KL正则化的多损失目标进行训练。
• 该框架可通过PointNet风格的关键点编码器支持替代输入模态（如2D关键点序列），该编码器将关键点回归至潜在空间。

实验结果

研究问题

• RQ1 组合式辐射场模型能否在具有视角相关外观效应的情况下，实现高保真动态人像头部的新视角合成？
• RQ2 解耦潜在空间表征在实现可控表情动画与插值方面表现如何？
• RQ3 该模型在极少微调下对新头部身份的泛化能力如何？
• RQ4 能否有效将关键点驱动控制集成至神经辐射场中以实现动态头部动画？
• RQ5 粗粒度与细粒度网络阶段的结合在提升渲染质量与细节保真度方面有何贡献？

主要发现

• 该模型实现了对动态人像头部的高保真新视角合成，具有逼真的视角相关外观与跨视角一致的几何结构。
• 潜在空间采样实现了平滑的表情插值，可在无需额外训练的情况下生成自然过渡的面部表情变化。
• 仅对编码器进行微调即可实现对新序列的快速适应，显著优于未微调的基线模型。
• 该模型在新序列上泛化良好，微调后的版本在平滑性与准确性上均优于零样本基线。
• 通过2D关键点编码器成功实现了关键点驱动的动画，证明了模型在支持多样化输入模态方面的灵活性。