[论文解读] SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields

Siddhant Ranade, Christoph Lassner+5 more|arXiv (Cornell University)|Dec 7, 2022

Advanced Vision and Imaging被引用 5

一句话总结

SSDNeRF 提出了一种新颖的方法，用于神经辐射场（NeRFs）的语义软分解，通过每类密度和颜色建模，实现了辐射场与语义信号的联合编码。通过将 NeRF 的体素渲染扩展为类别特定的贡献和软混合，该方法在 3D 语义分割与重建方面达到了最先进水平，支持具有视角依赖效果的时序一致视频编辑。

ABSTRACT

Neural Radiance Fields (NeRFs) encode the radiance in a scene parameterized by the scene's plenoptic function. This is achieved by using an MLP together with a mapping to a higher-dimensional space, and has been proven to capture scenes with a great level of detail. Naturally, the same parameterization can be used to encode additional properties of the scene, beyond just its radiance. A particularly interesting property in this regard is the semantic decomposition of the scene. We introduce a novel technique for semantic soft decomposition of neural radiance fields (named SSDNeRF) which jointly encodes semantic signals in combination with radiance signals of a scene. Our approach provides a soft decomposition of the scene into semantic parts, enabling us to correctly encode multiple semantic classes blending along the same direction -- an impossible feat for existing methods. Not only does this lead to a detailed, 3D semantic representation of the scene, but we also show that the regularizing effects of the MLP used for encoding help to improve the semantic representation. We show state-of-the-art segmentation and reconstruction results on a dataset of common objects and demonstrate how the proposed approach can be applied for high quality temporally consistent video editing and re-compositing on a dataset of casually captured selfie videos.

研究动机与目标

• 为解决现有 3D 语义分割方法无法在单条射线上建模重叠或混合语义类别的问题。
• 实现将 2D 语义分割掩码准确提升为支持新视角渲染的体积化、可微分表示。
• 通过在辐射场与语义联合优化过程中利用 MLP 的正则化效应，提升 NeRF 的几何与语义保真度。
• 实现在自由视角自拍视频中具有细粒度细节保留的时序一致视频编辑与重新合成。

提出的方法

• 通过为 M 个语义层建模每类密度 σⁱ 和颜色 cⁱ，扩展经典 NeRF 公式，实现在每条射线上支持软混合。
• 使用修改后的体素渲染方程，其中总颜色为所有语义类别的加权和：C(r) = ∑ⱼ Tⱼ (1 - exp(-∑ᵢ σⁱⱼ δⱼ)) (∑ᵢ σⁱⱼ cⁱⱼ) / (∑ᵢ σⁱⱼ)。
• 通过将其他类别的密度设为零，实现每类语义层的独立渲染，支持解耦的视角合成。
• 引入分割掩码渲染函数 Sⁱ(r)，通过归一化密度权重计算第 i 类的贡献。
• 基于 Nerfies 的可变形 NeRF 框架，处理日常自拍视频中的非刚性运动。
• 采用多任务损失函数，结合重建、语义分割与几何正则化，以提升鲁棒性与细节表现。

实验结果

研究问题

• RQ1 神经辐射场能否被联合优化，以在 3D 空间中编码多个重叠类别的辐射场与软语义标签？
• RQ2 如何扩展体素渲染以支持每类密度与颜色的贡献，同时保持可微性与渲染一致性？
• RQ3 与端到端语义头相比，MLP 的归纳偏置在多大程度上提升了 NeRF 中语义分解的质量？
• RQ4 所提方法能否在用户运动较少的随意拍摄视频序列中实现时序一致的 3D 编辑？
• RQ5 在 3D 语义分割准确率与重建质量方面，SSDNeRF 与 SNeRF 及其他最先进方法相比表现如何？

主要发现

• SSDNeRF 在常见物体的 3D 语义分割与新视角重建任务中达到最先进性能，在基准数据集上优于先前方法。
• 该方法实现了高质量、时序一致的自由视角自拍视频编辑与重新合成，保留了视角依赖效果与精细细节。
• 采用每类密度与颜色建模，使单条射线上多个语义类别的软混合成为可能，实现了部分遮挡或重叠物体的真实感渲染。
• MLP 的正则化作用提升了重建语义层的几何质量，减少了伪影并增强了边界一致性。
• 消融研究证实，所提出的损失组件显著提升了语义准确率与重建保真度。
• 系统成功处理了包含非自愿运动的随意、非刚性视频采集，展示了在真实场景中的鲁棒性。