[论文解读] Fast Training of Neural Lumigraph Representations using Meta Learning

Alexander W. Bergman, Petr Kellnhofer+1 more|arXiv (Cornell University)|Jun 28, 2021

Advanced Vision and Imaging参考文献 13被引用 4

一句话总结

MetaNLR++ 通过结合基于坐标的神经形状网络、基于CNN的图像特征聚合以及元学习，加速了神经光场表示的训练，使高质量的新视角合成仅需几分钟而非数小时。该方法通过从优化后的、元学习的形状和特征先验中提取隐式表面表示，实现了实时渲染。

ABSTRACT

Novel view synthesis is a long-standing problem in machine learning and computer vision. Significant progress has recently been made in developing neural scene representations and rendering techniques that synthesize photorealistic images from arbitrary views. These representations, however, are extremely slow to train and often also slow to render. Inspired by neural variants of image-based rendering, we develop a new neural rendering approach with the goal of quickly learning a high-quality representation which can also be rendered in real-time. Our approach, MetaNLR++, accomplishes this by using a unique combination of a neural shape representation and 2D CNN-based image feature extraction, aggregation, and re-projection. To push representation convergence times down to minutes, we leverage meta learning to learn neural shape and image feature priors which accelerate training. The optimized shape and image features can then be extracted using traditional graphics techniques and rendered in real time. We show that MetaNLR++ achieves similar or better novel view synthesis results in a fraction of the time that competing methods require.

研究动机与目标

• 解决神经场景表示在新视角合成中的长训练时间问题。
• 实现在稀疏2D输入图像下高质量合成视图的实时渲染。
• 通过端到端优化代理形状和特征，减少对SfM或MVS等慢速预处理步骤的依赖。
• 利用元学习实现神经形状和图像特征网络的有效初始化，以加速收敛。
• 在神经渲染流水线中平衡图像质量、训练速度和渲染效率。

提出的方法

• 使用基于坐标的神经网络表示代理形状，与图像特征编码器和解码器一起进行端到端优化。
• 使用2D CNN从输入图像中提取特征，并通过可微重投影机制在学习到的表面上聚合这些特征。
• 应用元学习以学习形状网络、特征编码器和聚合函数的有效初始化，从而加速收敛。
• 通过传统图形技术提取并渲染最终的隐式表面表示，实现高性能实时渲染。
• 使用带对象掩码的射线掩码损失监督形状学习，以确保早期训练阶段的几何精度。
• 通过直接在表面上聚合特征而非使用体素渲染，降低了计算成本。

实验结果

研究问题

• RQ1 元学习是否能显著缩短神经光场表示的训练时间，同时不牺牲图像质量？
• RQ2 形状和特征网络的端到端优化是否能消除对预计算SfM/MVS流水线的依赖？
• RQ3 基于表面的神经渲染方法是否能在保持照片级真实感新视角合成的同时实现实时推理？
• RQ4 通过元学习整合神经形状先验和图像特征先验，对收敛速度和最终性能有何影响？
• RQ5 在神经渲染中，形状细节与基于特征的表示能力之间存在何种权衡？

主要发现

• MetaNLR++ 在NLR数据集上实现了PSNR 37.55（LPIPS 0.034）的新视角合成效果，优于基线方法NLR++（PSNR 35.54，LPIPS 0.046）。
• 高质量结果的训练时间缩短至30分钟以内，相比竞争方法的数小时甚至数天显著提升。
• 通过在训练后提取并渲染隐式表面表示，该方法实现了实时渲染。
• 元学习通过学习形状和特征网络的有效初始化，显著缩短了收敛时间。
• 即使仅使用六张训练视图，该方法仍能保持高图像质量，展现出对插值视点的强大泛化能力。
• 在PSNR和LPIPS指标上，该方法均优于基线NLR++，表明其具有更优的感知质量。