[论文解读] End-to-end View Synthesis via NeRF Attention

Zelin Zhao, Jiaya Jia|arXiv (Cornell University)|Jul 29, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出NeRF注意力（NeRFA），一种新颖的端到端视图合成框架，通过将新颖视图合成重新定义为使用transformer的序列到序列任务。通过将体素渲染建模为软特征调制，并采用多阶段射线与像素transformer，NeRFA在四个基准测试中实现了最先进性能，显著提升了高频细节恢复能力与计算效率，优于NeRF和NerFormer。

ABSTRACT

In this paper, we present a simple seq2seq formulation for view synthesis where we take a set of ray points as input and output colors corresponding to the rays. Directly applying a standard transformer on this seq2seq formulation has two limitations. First, the standard attention cannot successfully fit the volumetric rendering procedure, and therefore high-frequency components are missing in the synthesized views. Second, applying global attention to all rays and pixels is extremely inefficient. Inspired by the neural radiance field (NeRF), we propose the NeRF attention (NeRFA) to address the above problems. On the one hand, NeRFA considers the volumetric rendering equation as a soft feature modulation procedure. In this way, the feature modulation enhances the transformers with the NeRF-like inductive bias. On the other hand, NeRFA performs multi-stage attention to reduce the computational overhead. Furthermore, the NeRFA model adopts the ray and pixel transformers to learn the interactions between rays and pixels. NeRFA demonstrates superior performance over NeRF and NerFormer on four datasets: DeepVoxels, Blender, LLFF, and CO3D. Besides, NeRFA establishes a new state-of-the-art under two settings: the single-scene view synthesis and the category-centric novel view synthesis.

研究动机与目标

• 为解决标准transformer在视图合成中的局限性，特别是高频细节恢复能力差和计算成本高的问题。
• 在不显式预测3D密度与颜色的前提下，将神经辐射场（NeRF）的归纳偏置整合到基于transformer的架构中。
• 设计一种高效的注意力机制，降低计算开销，同时保留精细的场景细节。
• 建立一个完整的注意力解决方案，用于新颖视图合成，其在单场景与类别中心设置下均优于NeRF和NerFormer。
• 实现从射线点到像素颜色的端到端学习，无需显式3D几何结构或渲染流水线。

提出的方法

• 提出NeRF注意力（NeRFA），一种基于transformer的架构，将体素渲染过程建模为软特征调制过程，将NeRF的归纳偏置嵌入注意力机制中。
• 引入双流注意力机制：射线transformer处理射线-点特征，像素transformer建模像素间依赖关系，以增强空间一致性。
• 采用多阶段注意力，通过独立的射线与像素注意力头，相比对所有射线与像素进行全局注意力，显著降低计算成本。
• 用特征调制层替代标准自注意力机制，利用位置嵌入调制特征，模仿NeRF的体素渲染过程，而无需显式预测密度与颜色。
• 采用序列到序列的建模范式，输入为一组射线点，输出为对应像素颜色，支持端到端训练。
• 对射线点与像素应用位置嵌入，以保留空间结构，并使注意力机制能够学习几何关系。

实验结果

研究问题

• RQ1 标准transformer能否有效建模视图合成中的体素渲染过程？其是否缺乏恢复高频细节所必需的归纳偏置？
• RQ2 如何在不牺牲渲染质量的前提下，降低对所有射线与像素进行全局自注意力的计算成本？
• RQ3 NeRF的归纳偏置能否被有效迁移到基于transformer的注意力机制中，以提升渲染保真度？
• RQ4 一个完整的注意力端到端框架是否优于保留显式NeRF风格渲染流水线或混合架构的模型？
• RQ5 一个统一的基于注意力的模型能否在单场景与类别中心视图合成基准上均实现良好泛化？

主要发现

• 在DeepVoxels数据集上，NeRFA的PSNR达到40.30，显著优于基线transformer（23.42），并在PSNR与SSIM上均超越NeRF与NerFormer。
• 在Blender数据集上，NeRFA的PSNR为33.17，SSIM为0.941，相比NeRF与NerFormer展现出更优的细节保留能力，尤其在锐利边缘与纹理区域表现更佳。
• 在LLFF数据集上，NeRFA的PSNR为28.15，SSIM为0.833，展现出在具有复杂光照与几何结构的真实世界场景中的强鲁棒性。
• 消融实验表明，特征调制（FM）对高频细节恢复至关重要，移除FM后在DeepVoxels上的PSNR下降超过15分。
• 射线transformer（RT）与像素transformer（PT）组件均贡献显著：在Blender上移除RT导致PSNR下降10.5分，而在DeepVoxels上移除PT导致PSNR下降3.5分。
• NeRFA在CO3D的类别中心新颖视图合成任务中建立了新的最先进水平，优于NerFormer与NeRF-WCE，尤其在未见视频与具有挑战性的目标视图上表现更优。