[论文解读] Editing Conditional Radiance Fields

Steven Liu, Xiuming Zhang+4 more|arXiv (Cornell University)|May 13, 2021

3D Shape Modeling and Analysis参考文献 73被引用 5

一句话总结

本文提出了一种方法，通过将稀疏的2D用户涂鸦传播到3D空间，实现对条件性辐射场——即在物体类别上训练的神经场景表示——的编辑，从而在新视角下实现一致的颜色和形状编辑。该方法利用共享的形状分支和选择性网络更新，仅高效地修改相关网络组件，以最小的计算量实现高保真编辑，同时保持物体结构不变。

ABSTRACT

A neural radiance field (NeRF) is a scene model supporting high-quality view synthesis, optimized per scene. In this paper, we explore enabling user editing of a category-level NeRF - also known as a conditional radiance field - trained on a shape category. Specifically, we introduce a method for propagating coarse 2D user scribbles to the 3D space, to modify the color or shape of a local region. First, we propose a conditional radiance field that incorporates new modular network components, including a shape branch that is shared across object instances. Observing multiple instances of the same category, our model learns underlying part semantics without any supervision, thereby allowing the propagation of coarse 2D user scribbles to the entire 3D region (e.g., chair seat). Next, we propose a hybrid network update strategy that targets specific network components, which balances efficiency and accuracy. During user interaction, we formulate an optimization problem that both satisfies the user's constraints and preserves the original object structure. We demonstrate our approach on various editing tasks over three shape datasets and show that it outperforms prior neural editing approaches. Finally, we edit the appearance and shape of a real photograph and show that the edit propagates to extrapolated novel views.

研究动机与目标

• 通过稀疏2D用户输入实现实时、高保真度的3D场景表示编辑。
• 解决在隐式神经表示中将粗略的2D编辑传播到完整3D区域的挑战。
• 识别控制形状与颜色编辑的网络组件，以实现高效优化。
• 在满足用户指定编辑的同时，保持原始物体结构。
• 在真实照片和合成数据集上展示一致的、视角一致的编辑效果。

提出的方法

• 引入一种具有跨物体实例共享形状分支的条件性辐射场，以无监督方式学习部件级语义。
• 提出一种混合网络更新策略，仅选择性地优化负责形状和颜色的后续层，从而提高效率。
• 设计编辑损失函数，在优化过程中强制执行用户约束，同时保持原始物体结构。
• 采用两阶段流程：首先，通过共享形状先验将2D涂鸦传播到3D；其次，优化目标网络组件以匹配用户编辑。
• 使用alpha混合与神经渲染，确保在新视角下结果的一致性。
• 将该方法应用于合成与真实图像编辑，证明其在未见视角上的泛化能力。

实验结果

研究问题

• RQ1 是否可以无需显式的3D监督，将稀疏2D用户涂鸦有效传播到神经辐射场中的3D区域？
• RQ2 条件性辐射场网络中哪些组件控制形状编辑与颜色编辑，且能否独立更新？
• RQ3 条件性辐射场中的类别级先验是否能实现在新视角下的稳定、视角一致的编辑？
• RQ4 如何在保持原始物体结构并避免伪影的同时，使编辑过程高效？
• RQ5 对真实照片的编辑是否能泛化到外推的新视角？

主要发现

• 该方法成功地将2D涂鸦传播到完整的3D区域，实现在所有渲染视角下一致的颜色和形状编辑。
• 仅对网络后层进行形状或颜色编辑的优化，相比全网络微调显著提升了速度，同时保持了高保真度。
• 共享形状分支使得对同一类别未见部件的编辑实现了零样本泛化，即使没有显式部件标注。
• 在包括PhotoShapes和CARLA汽车在内的三个数据集上，该方法在定量和定性评估中均优于先前的神经编辑方法。
• 对真实照片应用的编辑在新视角下一致渲染，证明了其超越训练数据的泛化能力。
• 视角重建结果表现出近乎完美的视角一致性与深度估计，即使每类物体仅用一张图像进行训练。