[论文解读] HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

Keunhong Park, Utkarsh Sinha+6 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Vision and Imaging参考文献 45被引用 81

一句话总结

HyperNeRF 在 NeRF 的基础上扩展到更高维的环境空间和可变切片，以建模动态场景中的拓扑变化，改善时刻之间的插值和新视角合成。

ABSTRACT

Neural Radiance Fields (NeRF) are able to reconstruct scenes with unprecedented fidelity, and various recent works have extended NeRF to handle dynamic scenes. A common approach to reconstruct such non-rigid scenes is through the use of a learned deformation field mapping from coordinates in each input image into a canonical template coordinate space. However, these deformation-based approaches struggle to model changes in topology, as topological changes require a discontinuity in the deformation field, but these deformation fields are necessarily continuous. We address this limitation by lifting NeRFs into a higher dimensional space, and by representing the 5D radiance field corresponding to each individual input image as a slice through this "hyper-space". Our method is inspired by level set methods, which model the evolution of surfaces as slices through a higher dimensional surface. We evaluate our method on two tasks: (i) interpolating smoothly between "moments", i.e., configurations of the scene, seen in the input images while maintaining visual plausibility, and (ii) novel-view synthesis at fixed moments. We show that our method, which we dub HyperNeRF, outperforms existing methods on both tasks. Compared to Nerfies, HyperNeRF reduces average error rates by 4.1% for interpolation and 8.6% for novel-view synthesis, as measured by LPIPS. Additional videos, results, and visualizations are available at https://hypernerf.github.io.

研究动机与目标

• 处理动态场景中超出连续变形的拓扑变化。
• 利用更高维度的（环境）空间来表示模板 NeRF 的切片。
• 实现场景时刻之间的平滑插值和高质量的新视角合成。
• 通过可变形切片表面促进拓扑变化现象的高效表征。

提出的方法

• 将每个观测帧表示为穿过高维空间 NeRF（HyperNeRF）的非平面切片。
• 将模板 NeRF 扩展到更高维的域（x, w），其中有 W 个环境维度。
• 使用可变形切片表面 H(x, ωi) 将空间点映射到环境坐标，从而实现拓扑变化。
• 用多层感知机和潜在编码 ωi（形变）和 ψi（外观）对变形 T(x, ωi) 和切片 H 进行参数化。
• 对环境坐标应用分窗位置编码，以错开使用环境维度并稳定优化。
• 端到端训练，使用 L2 光度损失，采用粗到细的分窗编码调度和标准 NeRF 渲染。

实验结果

研究问题

• RQ1 具有可变形切片的高维环境空间是否能够捕捉动态 NeRF 场景中的拓扑变化？
• RQ2 HyperNeRF 是否在观测场景时刻之间提供更好的插值，并在固定时刻提升新视角合成？
• RQ3 可变形切片相较于轴对齐切片在表示 NeRF 的拓扑变异方面有何差异？

主要发现

• HyperNeRF 在插值和新视角合成任务上，产生的渲染更清晰、质量更高，伪影更少，优于以往方法。
• 与 Nerfies 相比，HyperNeRF 在插值的平均误差降低 4.1%，在新视角合成（LPIPS）降低 8.6%。
• 使用可变形切片表面（DS）比轴对齐切片平面（AP）获得更好的重建质量和更平滑的状态插值。
• 通过分窗编码延迟环境维度的使用，可提高优化稳定性，避免过早依赖环境坐标。
• HyperNeRF 可以从单目视频（无深度传感器）重建具拓扑变化场景的真实感自由视点渲染。