[论文解读] Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations

Fukun Yin, Wen Liu+4 more|arXiv (Cornell University)|Oct 20, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

该论文提出 CoCo-INR，一种新颖的隐式神经 3D 表示框架，通过在基于坐标的多层感知机（MLPs）中引入来自学习代码本的先验知识，利用两种注意力模块（代码本注意力和坐标注意力）实现性能提升。通过利用大规模数据集上预训练的原型，该方法在仅使用 3–8 张输入视图的情况下，实现了新颖视图合成与 3D 重建的最先进性能，显著提升了在稀疏监督下的照片级真实感与几何保真度。

ABSTRACT

Implicit neural 3D representation has achieved impressive results in surface or scene reconstruction and novel view synthesis, which typically uses the coordinate-based multi-layer perceptrons (MLPs) to learn a continuous scene representation. However, existing approaches, such as Neural Radiance Field (NeRF) and its variants, usually require dense input views (i.e. 50-150) to obtain decent results. To relive the over-dependence on massive calibrated images and enrich the coordinate-based feature representation, we explore injecting the prior information into the coordinate-based network and introduce a novel coordinate-based model, CoCo-INR, for implicit neural 3D representation. The cores of our method are two attention modules: codebook attention and coordinate attention. The former extracts the useful prototypes containing rich geometry and appearance information from the prior codebook, and the latter propagates such prior information into each coordinate and enriches its feature representation for a scene or object surface. With the help of the prior information, our method can render 3D views with more photo-realistic appearance and geometries than the current methods using fewer calibrated images available. Experiments on various scene reconstruction datasets, including DTU and BlendedMVS, and the full 3D head reconstruction dataset, H3DS, demonstrate the robustness under fewer input views and fine detail-preserving capability of our proposed method.

研究动机与目标

• 解决隐式神经 3D 表示在高质量重建中对密集输入视图的依赖问题。
• 探究来自代码本的先验知识如何丰富隐式神经网络中的坐标特征表示。
• 通过引入结构化先验信息，降低对大量校准图像的依赖。
• 在稀疏输入设置下，提升新颖视图合成的鲁棒性与真实感。
• 建立一种新范式，将坐标与学习到的、与场景无关的原型相连接，以实现更好的泛化能力。

提出的方法

• 引入代码本注意力模块，通过可学习嵌入从预训练的固定代码本中查询与场景相关的原型。
• 采用坐标注意力模块，将选定的原型注入每个空间坐标，以丰富其特征表示。
• 使用固定且预训练的 VQ-VAE 代码本（例如，通过 VQGAN 从 ImageNet 学习得到）提供一致且高层次的语义先验。
• 在共享的 MLP 架构中应用两种注意力模块，以增强特征学习，且无需对每个场景微调代码本。
• 通过可微分注意力机制端到端训练网络，实现先验特征与坐标特征的动态融合。
• 在训练中使用掩码技术，针对极稀疏视图（如 3 张视图）进行训练，以聚焦于前景几何与外观。

实验结果

研究问题

• RQ1 当仅有少量输入视图时，来自预训练代码本的先验知识是否能提升 3D 重建与新颖视图合成的质量？
• RQ2 在稀疏监督下，将代码本原型注入坐标特征如何影响网络对新颖视图的泛化能力？
• RQ3 在低样本 3D 重建中，使用固定预训练代码本与每场景可学习代码本相比，其影响如何？
• RQ4 代码本条目数量与质量如何影响隐式神经表示的性能？
• RQ5 基于注意力的原型与坐标融合是否能产生比标准 MLP 方法更逼真且几何更准确的渲染结果？

主要发现

• 在仅使用 3 张训练视图的 DTU 数据集上，CoCo-INR 实现了 19.084 的平均 PSNR，优于 VolSDF（18.939），且 LPIPS 降低 25%（0.165 vs. 0.317），表明其在语义层面的真实感更优。
• 在 5–8 张视图下，使用固定预训练代码本的方法实现了 15.622 的 PSNR，显著优于每场景可学习代码本（13.315），证明了可泛化先验知识的价值。
• 使用 16,384 个代码本条目时性能最佳（PSNR: 15.622），且条目数量减少时性能下降，表明对代码本大小敏感。
• 消融实验表明，代码本注意力在具有同质纹理的场景中提升了鲁棒性，能够提取有意义的原型。
• 可视化结果表明，CoCo-INR 即使在极端视图稀疏（仅 3 张视图）条件下，仍能保留精细几何细节，并生成更一致、更逼真的新颖视图。
• 该方法在多种基准测试中泛化良好，包括 DTU、BlendedMVS 和 H3DS，证明了代码本先验具有强大的零样本迁移能力。