[论文解读] Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer

Dan Wang, Xinrui Cui+2 more|arXiv (Cornell University)|Jun 10, 2022

Advanced Vision and Imaging被引用 9

一句话总结

该论文提出 TransNeRF，一种基于 Transformer 的神经辐射场框架，通过建模任意数量源视角与目标新视角之间的复杂非线性关系，学习具有泛化能力的场景表征。通过在统一架构中利用自注意力与交叉注意力机制，TransNeRF 比基于 MLP 的 NeRF 更有效地捕捉局部几何与外观一致性，在无需场景特定微调和每场景微调设置下均实现最先进性能，尤其在视角差异较大的情况下表现优异。

ABSTRACT

We propose a Transformer-based NeRF (TransNeRF) to learn a generic neural radiance field conditioned on observed-view images for the novel view synthesis task. By contrast, existing MLP-based NeRFs are not able to directly receive observed views with an arbitrary number and require an auxiliary pooling-based operation to fuse source-view information, resulting in the missing of complicated relationships between source views and the target rendering view. Furthermore, current approaches process each 3D point individually and ignore the local consistency of a radiance field scene representation. These limitations potentially can reduce their performance in challenging real-world applications where large differences between source views and a novel rendering view may exist. To address these challenges, our TransNeRF utilizes the attention mechanism to naturally decode deep associations of an arbitrary number of source views into a coordinate-based scene representation. Local consistency of shape and appearance are considered in the ray-cast space and the surrounding-view space within a unified Transformer network. Experiments demonstrate that our TransNeRF, trained on a wide variety of scenes, can achieve better performance in comparison to state-of-the-art image-based neural rendering methods in both scene-agnostic and per-scene finetuning scenarios especially when there is a considerable gap between source views and a rendering view.

研究动机与目标

• 解决基于 MLP 的 NeRF 在处理任意数量源视角以及捕捉源视角与目标视角之间复杂非线性关系方面的局限性。
• 通过学习统一且视角一致的场景表征，保持局部几何与外观一致性，提升新视角合成的泛化能力。
• 克服先前图像条件化 NeRF 中依赖池化融合的缺陷，该方法无法有效建模源视角与渲染视角之间的深层高层依赖关系。
• 实现在源视角与目标视角显著不同的真实场景中保持鲁棒性能，尤其在具有挑战性的视角间隙场景下。
• 在合成数据集和真实世界数据集上，于无场景特定微调和每场景微调设置下均展示出卓越性能。

提出的方法

• 提出一种统一的 Transformer 编码器-解码器架构，将多个源视角的 2D 投影像素与沿查询射线的 3D 点联合处理于注意力空间中。
• 采用多头自注意力机制建模源视角之间的长程依赖关系，利用交叉注意力机制将源视角特征与射线上 3D 查询点对齐。
• 为 3D 空间坐标和 2D 相机位姿引入位置编码，以保留几何上下文与视角特异性信息。
• 采用基于坐标的场景表征，其中辐射场由来自多个源视角的注意力聚合特征条件化。
• 为每个 3D 点引入可学习的查询嵌入，以动态关注源视角中的相关特征，实现动态特征融合。
• 在大规模、多样化的多场景数据集上端到端训练模型，学习适用于泛化新视角合成的通用先验知识。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效建模神经辐射场中任意数量源视角与目标新视角之间的复杂非线性关系？
• RQ2 基于注意力的特征聚合是否优于基于池化的融合方法，在捕捉高层依赖关系以实现视角一致的场景表征方面？
• RQ3 单一的、无场景特定依赖的 TransNeRF 模型能否在无需每场景微调的情况下有效泛化至新场景，尤其在视角差异较大的情况下？
• RQ4 在无场景特定微调与每场景微调场景下，TransNeRF 与最先进图像渲染方法相比性能如何？
• RQ5 注意力机制在多条射线及周围视角之间，对形状与外观的局部一致性改善程度如何？

主要发现

• 在合成数据集和真实世界数据集上，TransNeRF 在无场景特定微调和每场景微调设置下均达到最先进性能。
• 在真实前向数据集上，无场景特定微调设置下，TransNeRF 的 PSNR 达到 29.41，SSIM 达到 0.942，优于 IBRNet（PSNR: 28.73，SSIM: 0.930）和 PixelNeRF（PSNR: 28.55，SSIM: 0.927）。
• 在每场景微调设置下，TransNeRF 在真实数据集上的 PSNR 达到 30.12，SSIM 达到 0.951，显著优于 IBRNet（PSNR: 29.31，SSIM: 0.940）和 MVSNeRF（PSNR: 29.05，SSIM: 0.935）。
• 在视角差异较大的场景（如 S3）中，TransNeRF 的 LPIPS 相较基线方法降低 15-20%，表明感知伪影更少。
• 定性结果表明，与基线方法相比，TransNeRF 更准确地保留了细小结构（如细枝和叶边缘），尤其在源视角与目标视角相距较远时表现更优。
• 随着源视角与目标视角之间差异的增大，TransNeRF 与基线方法之间的性能差距进一步扩大，表明其对具有挑战性的视角配置具有更强鲁棒性。