[论文解读] NeRFocus: Neural Radiance Field for 3D Synthetic Defocus

Yinhuai Wang, Shuzhou Yang+2 more|arXiv (Cornell University)|Mar 10, 2022

Image Processing Techniques and Applications被引用 6

一句话总结

NeRFocus 提出了一种基于 NeRF 的新框架，通过逆向光路追踪和基于视锥的体素渲染，直接建模薄透镜成像以生成 3D 合成景深效果。该方法可直接控制景深效果，支持调节光圈大小、对焦距离和相机位姿，同时在训练时间、参数量和大景深图像的渲染质量方面保持与 NeRF 相当的性能。

ABSTRACT

Neural radiance fields (NeRF) bring a new wave for 3D interactive experiences. However, as an important part of the immersive experiences, the defocus effects have not been fully explored within NeRF. Some recent NeRF-based methods generate 3D defocus effects in a post-process fashion by utilizing multiplane technology. Still, they are either time-consuming or memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF framework that can directly render various 3D defocus effects, dubbed NeRFocus. Unlike the pinhole, the thin lens refracts rays of a scene point, so its imaging on the sensor plane is scattered as a circle of confusion (CoC). A direct solution sampling enough rays to approximate this process is computationally expensive. Instead, we propose to inverse the thin lens imaging to explicitly model the beam path for each point on the sensor plane and generalize this paradigm to the beam path of each pixel, then use the frustum-based volume rendering to render each pixel's beam path. We further design an efficient probabilistic training (p-training) strategy to simplify the training process vastly. Extensive experiments demonstrate that our NeRFocus can achieve various 3D defocus effects with adjustable camera pose, focus distance, and aperture size. Existing NeRF can be regarded as our special case by setting aperture size as zero to render large depth-of-field images. Despite such merits, NeRFocus does not sacrifice NeRF's original performance (e.g., training and inference time, parameter consumption, rendering quality), which implies its great potential for broader application and further improvement. Code and video are available at https://github.com/wyhuai/NeRFocus.

研究动机与目标

• 为解决标准 NeRF 基于针孔相机模型而缺乏原生 3D 景深效果支持的问题。
• 实现在无需后处理或额外标注景深数据集的情况下，直接渲染逼真的 3D 景深效果。
• 在增加对光圈大小、对焦距离和相机位姿的灵活控制的同时，保持 NeRF 的效率和渲染质量。
• 开发一种训练策略，仅使用标准的大景深数据即可良好泛化至多样化的景深效果。

提出的方法

• 将薄透镜成像过程反向，从传感器平面上的每个点反向追踪至场景点，推广至像素级光路。
• 使用模糊圈（CoC）模型表示由于有限光圈导致的场景点射线发散，每个像素形成复合圆锥。
• 将每个复合圆锥划分为多个视锥，并在每个视锥内假设辐射度和密度服从三维高斯分布，以支持体素渲染。
• 提出一种概率性训练（p-training）策略，使用不同尺度的高斯模糊核对真实图像进行监督，训练期间将光圈大小设为零。
• 通过比较从复合圆锥渲染出的颜色与模糊的真实图像之间的损失来训练 MLP，从而在测试时泛化至非零光圈设置。
• 利用位置编码和多层感知机（MLP）预测每个视锥的期望辐射度和密度，以期望位置编码作为输入。

实验结果

研究问题

• RQ1 NeRF 是否可以被扩展以原生渲染具有可控参数（如光圈大小和对焦距离）的 3D 景深效果？
• RQ2 是否可能在不使用后处理或额外带有景深标注的数据集的情况下实现逼真的景深效果？
• RQ3 基于模糊真实图像的训练策略是否能在保持 NeRF 效率和渲染质量的同时，泛化至多样化的景深设置？
• RQ4 与标准 NeRF 训练相比，所提出的 p-training 策略在计算成本和模型性能方面表现如何？

主要发现

• NeRFocus 在大景深设置（光圈大小 = 0）下达到 28.26 的 PSNR，与 NeRF（29.00）和 mip-NeRF（28.83）相当，表明性能无损失。
• 模型保持与 mip-NeRF 相同的训练时间（55.6 小时）和参数量（613k），表明无额外计算开销。
• 定性结果表明，增大光圈大小会增加模糊程度（浅景深），增大对焦距离会使景深前移，符合光学原理。
• 尽管 p-training 仅使用五种模糊核尺度，模型仍能良好泛化至未见过的景深设置，证明了概率性训练策略的鲁棒性。
• NeRFocus 能够实现高质量的 3D 景深效果，且对相机位姿、对焦距离和光圈大小实现解耦控制，支持动态且逼真的景深效果。