[论文解读] DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Rendering.

Ruizhi Shao, Hongwen Zhang+4 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Vision and Imaging被引用 6

一句话总结

DoubleField 提出了一种统一的神经表征，通过共享特征嵌入和基于表面的采样，联合建模人体的几何与外观，实现了从稀疏多视角输入出发的快速、高保真自由视角渲染。它通过视角间 Transformer 和迁移学习，实现了超高分辨率输入处理的最先进性能，达成逼真的新视角合成。

ABSTRACT

We introduce DoubleField, a novel representation combining the merits of both surface field and radiance field for high-fidelity human rendering. Within DoubleField, the surface field and radiance field are associated together by a shared feature embedding and a surface-guided sampling strategy. In this way, DoubleField has a continuous but disentangled learning space for geometry and appearance modeling, which supports fast training, inference, and finetuning. To achieve high-fidelity free-viewpoint rendering, DoubleField is further augmented to leverage ultra-high-resolution inputs, where a view-to-view transformer and a transfer learning scheme are introduced for more efficient learning and finetuning from sparse-view inputs at original resolutions. The efficacy of DoubleField is validated by the quantitative evaluations on several datasets and the qualitative results in a real-world sparse multi-view system, showing its superior capability for photo-realistic free-viewpoint human rendering. For code and demo video, please refer to our project page: this http URL.

研究动机与目标

• 为解决从稀疏多视角输入实现逼真、自由视角人体渲染的挑战。
• 在连续但解耦的神经表征中统一几何与外观建模，以提升训练与推理效率。
• 在保持快速微调的同时，实现在超高分辨率下的高保真渲染。
• 通过迁移学习和视角间 Transformer 实现高效特征传播，减少对密集输入视角的依赖。

提出的方法

• DoubleField 通过共享特征嵌入将表面场与辐射场集成，实现几何与外观的联合但解耦学习。
• 基于表面的采样策略确保辐射场查询在空间上与预测的表面对齐，提升几何一致性。
• 该方法采用视角间 Transformer 聚合并传递各输入视角的特征，增强稀疏输入下的特征学习。
• 采用迁移学习方案，实现在原始高分辨率下的高效微调，无需从头开始训练。
• 该架构支持快速训练、推理与适应，适用于真实世界中的稀疏多视角系统。

实验结果

研究问题

• RQ1 统一的神经表征能否在保持高保真度的同时，有效解耦几何与外观建模？
• RQ2 基于表面的采样如何提升新视角合成的一致性与质量？
• RQ3 视角间 Transformer 在稀疏多视角输入下，能在多大程度上增强特征学习？
• RQ4 迁移学习能否在无需完整重训练的情况下，实现对高分辨率人体辐射场的高效微调？

主要发现

• DoubleField 在多个基准数据集上取得优越的定量性能，证明了其在自由视角渲染质量方面的最先进水平。
• 由于其解耦的连续学习空间与高效采样策略，该方法实现了快速训练、推理与微调。
• 视角间 Transformer 的集成显著提升了稀疏视角输入下的特征传播与渲染质量。
• 迁移学习使模型能以极少的额外训练，有效适应超高分辨率输入。