[论文解读] CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields

Can Wang, Menglei Chai+3 more|arXiv (Cornell University)|Dec 9, 2021

Computer Graphics and Visualization Techniques被引用 12

一句话总结

CLIP-NeRF 通过利用 CLIP 的联合嵌入空间，提出了一种统一的框架，用于实现文本和图像驱动的神经辐射场（NeRF）操作。该方法采用了解耦的条件式 NeRF 架构，包含独立的形状和外观代码，并通过前馈式代码映射器将 CLIP 嵌入转换为潜在编辑向量，从而实现快速、可控且高保真度的 3D 编辑，支持真实图像反演和视图一致的结果。

ABSTRACT

We present CLIP-NeRF, a multi-modal 3D object manipulation method for neural radiance fields (NeRF). By leveraging the joint language-image embedding space of the recent Contrastive Language-Image Pre-Training (CLIP) model, we propose a unified framework that allows manipulating NeRF in a user-friendly way, using either a short text prompt or an exemplar image. Specifically, to combine the novel view synthesis capability of NeRF and the controllable manipulation ability of latent representations from generative models, we introduce a disentangled conditional NeRF architecture that allows individual control over both shape and appearance. This is achieved by performing the shape conditioning via applying a learned deformation field to the positional encoding and deferring color conditioning to the volumetric rendering stage. To bridge this disentangled latent representation to the CLIP embedding, we design two code mappers that take a CLIP embedding as input and update the latent codes to reflect the targeted editing. The mappers are trained with a CLIP-based matching loss to ensure the manipulation accuracy. Furthermore, we propose an inverse optimization method that accurately projects an input image to the latent codes for manipulation to enable editing on real images. We evaluate our approach by extensive experiments on a variety of text prompts and exemplar images and also provide an intuitive interface for interactive editing. Our implementation is available at https://cassiepython.github.io/clipnerf/

研究动机与目标

• 通过自然语言或参考图像实现直观、用户友好的 NeRF 3D 内容操作。
• 解决隐式 NeRF 表示的编辑挑战，因其依赖于每场景优化和多视角依赖，难以修改。
• 通过条件潜在空间架构在 NeRF 中实现形状与外观的解耦控制。
• 通过将真实图像反演到条件式 NeRF 模型的潜在空间，实现对真实图像的编辑。
• 在无需真实标签监督的情况下，利用基于 CLIP 的损失实现高保真、视图一致的编辑。

提出的方法

• 提出一种解耦的条件式 NeRF 架构，其中形状通过作用于位置编码的可学习形变场控制，外观则在体素渲染过程中进行调制。
• 设计了两个前馈式代码映射器，将来自文本或图像的 CLIP 嵌入映射为形状和外观潜在代码，实现快速推理。
• 使用基于 CLIP 的匹配损失，将输入提示或图像的语义内容与渲染输出对齐，确保编辑一致性。
• 提出一种逆向优化方法，从单张真实图像中推断形状和外观潜在代码，从而实现对真实世界数据的编辑。
• 该框架支持连续编辑，通过顺序修改形状和外观实现，并可在潜在空间中沿编辑方向进行插值和缩放。
• 训练期间采用基于图像块的射线采样方法计算 CLIP 损失，提升生成视图与输入约束之间的对齐效果。

实验结果

研究问题

• RQ1 统一框架能否同时实现高保真度和视图一致性的 NeRF 文本与图像驱动编辑？
• RQ2 在条件式 NeRF 架构中，能否有效实现形状与外观的解耦，以支持独立操作？
• RQ3 能否在不微调 NeRF 的前提下，有效将 CLIP 嵌入映射为潜在代码，实现准确且泛化能力强的 3D 编辑？
• RQ4 是否能够将真实图像反演到条件式 NeRF 的潜在空间中，以实现对真实世界 3D 内容的编辑？
• RQ5 在潜在空间中进行缩放和插值能否产生直观、渐进式的编辑效果？

主要发现

• 该方法仅使用文本提示或示例图像即可实现高质量、视图一致的 3D 编辑，结果展现出语义对齐和视觉合理性。
• 基于 CLIP 的损失实现了无需真实标签监督的 NeRF 外观与形状的零样本编辑，LLFF 数据集上的验证结果证实了这一点。
• 前馈式代码映射器实现了快速推理，支持对同一类别中多个对象的编辑，其速度优于基于优化的基线方法。
• 反演方法成功将真实图像投影到潜在空间，实现了对真实世界 3D 内容的一致几何与外观编辑。
• 沿编辑方向的缩放可产生渐进式、直观的编辑效果，潜在空间中的插值则实现了形状与外观之间的平滑过渡。
• 消融实验证明，若不施加潜在空间约束而直接编辑单个 NeRF，形状编辑将失败，凸显了解耦潜在表示的必要性。