[论文解读] Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields

Shangzhan Zhang, Sida Peng+6 more|arXiv (Cornell University)|Jul 24, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

该论文提出 Dyn-E，一种新颖的动态神经辐射场（NeRF）局部外观编辑框架，通过编辑训练视频中的单帧2D图像实现。该方法将编辑区域提升为3D纹理网格，利用可逆运动网络在时间上进行形变，再通过体素渲染将结果与原始NeRF结合，实现空间与时间上的一致性编辑，且未编辑区域无过拟合或退化现象。

ABSTRACT

Recently, the editing of neural radiance fields (NeRFs) has gained considerable attention, but most prior works focus on static scenes while research on the appearance editing of dynamic scenes is relatively lacking. In this paper, we propose a novel framework to edit the local appearance of dynamic NeRFs by manipulating pixels in a single frame of training video. Specifically, to locally edit the appearance of dynamic NeRFs while preserving unedited regions, we introduce a local surface representation of the edited region, which can be inserted into and rendered along with the original NeRF and warped to arbitrary other frames through a learned invertible motion representation network. By employing our method, users without professional expertise can easily add desired content to the appearance of a dynamic scene. We extensively evaluate our approach on various scenes and show that our approach achieves spatially and temporally consistent editing results. Notably, our approach is versatile and applicable to different variants of dynamic NeRF representations.

研究动机与目标

• 为解决动态3D场景中细粒度局部外观编辑研究的缺乏，特别是当用户不具备专业技能时。
• 使用户仅通过修改训练视频中的单张2D图像即可编辑动态NeRF的外观。
• 确保编辑结果在空间与时间上的一致性，同时保持未编辑区域的质量。
• 设计一种可泛化的编辑框架，兼容多种动态NeRF表示方法。
• 克服在无过拟合或误差累积的情况下将单帧编辑结果跨时间传播的挑战。

提出的方法

• 利用原始动态NeRF提供的深度图，将编辑后的2D区域提升为3D纹理网格。
• 将网格转换为局部密度场与颜色场，可通过体素渲染与原始NeRF一同渲染。
• 训练可逆运动表示网络，利用场景光流场作为监督信号，将局部表面在帧间进行形变。
• 通过光度与拉普拉斯平滑正则化提升形变精度与时间一致性。
• 在体素渲染过程中将局部表面与原始NeRF结合，正确处理遮挡关系。
• 该框架即插即用，兼容多种动态NeRF变体，如HyperNeRF、DynamicNeRF与Neural Body。

Figure 1. Our proposed approach allows users to locally edit the appearance of a dynamic 3D scene in a user-friendly manner. Given training videos (a) and the reconstructed dynamic NeRF (b) as input, users can edit the appearance of the dynamic NeRF (d) by manipulating pixels in a single image (c).

实验结果

研究问题

• RQ1 能否通过单帧2D图像操作实现动态NeRF中的局部外观编辑，而无需专家级干预？
• RQ2 如何在保持原始场景结构的前提下，使编辑内容在动态场景中一致地跨时间传播？
• RQ3 3D局部表面表示在实现外观编辑过程中的时空一致性方面起到何种作用？
• RQ4 与标准形变或直接微调相比，使用可逆运动网络在误差累积与渲染质量方面表现如何？
• RQ5 所提出方法在不同动态NeRF架构上的泛化能力如何？

主要发现

• 所提方法在局部外观编辑任务中达到最先进性能，定量结果表明其具有更优的时间一致性与准确性。
• 消融实验表明，若移除光度或平滑正则化，PCK-T显著下降且EPE显著上升，证明其有效性。
• 该方法通过循环一致的可逆网络减少误差累积，优于基线方法如'SF warping'与'Ours w/o Inv'。
• 引入场景光流场作为监督信号，性能优于仅使用2D光流约束，证明3D运动监督的优势。
• 遮挡处理至关重要：若不处理遮挡，基线方法'Ours w/o Occ'会产生错误结果并出现明显伪影。
• 该方法在多种动态NeRF表示（包括HyperNeRF、DynamicNeRF与Neural Body）中均表现出色，证实其泛化能力。

Figure 2. Illustration of our pipeline. Given a single edited image and a dynamic NeRF, we first lift the edited region to the 3D space through rendered depth maps to form a textured mesh. Then, we train an invertible network to propagate the textured mesh to other frames. Finally, we combine the te