[论文解读] RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis

Jonathan Tremblay, Moustafa Meshry+10 more|arXiv (Cornell University)|May 14, 2022

Advanced Vision and Imaging被引用 10

一句话总结

本文提出RTMV，一个大规模的光线追踪合成数据集，包含约30万张高分辨率（1600×1600）图像，来自近2000个复杂场景，可全面用于新视角合成的基准测试。为应对该数据集的规模，作者提出稀疏体素光场（SVLF）方法，一种快速高效的算法，在使用稀疏体素八叉树、极简网络结构和真实深度监督的前提下，实现与NeRF相当的图像质量，同时训练速度提升一个数量级，渲染速度提升两个数量级。

ABSTRACT

We present a large-scale synthetic dataset for novel view synthesis consisting of ~300k images rendered from nearly 2000 complex scenes using high-quality ray tracing at high resolution (1600 x 1600 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis, thus providing a large unified benchmark for both training and evaluation. Using 4 distinct sources of high-quality 3D meshes, the scenes of our dataset exhibit challenging variations in camera views, lighting, shape, materials, and textures. Because our dataset is too large for existing methods to process, we propose Sparse Voxel Light Field (SVLF), an efficient voxel-based light field approach for novel view synthesis that achieves comparable performance to NeRF on synthetic data, while being an order of magnitude faster to train and two orders of magnitude faster to render. SVLF achieves this speed by relying on a sparse voxel octree, careful voxel sampling (requiring only a handful of queries per ray), and reduced network structure; as well as ground truth depth maps at training time. Our dataset is generated by NViSII, a Python-based ray tracing renderer, which is designed to be simple for non-experts to use and share, flexible and powerful through its use of scripting, and able to create high-quality and physically-based rendered images. Experiments with a subset of our dataset allow us to compare standard methods like NeRF and mip-NeRF for single-scene modeling, and pixelNeRF for category-level modeling, pointing toward the need for future improvements in this area.

研究动机与目标

• 解决当前缺乏大规模、高保真度合成数据集以用于新视角合成算法基准测试的问题。
• 实现对包含复杂材质、光照、相机位姿及多物体配置的多样化场景中方法的评估。
• 通过引入一种高度高效的替代方法，克服现有方法在处理完整数据集时计算不可行的问题。
• 通过丰富的元数据和可扩展的数据，促进少样本视角合成、三维重建和深度感知渲染等方向的研究。
• 通过在一个大规模、多样化的基准上展示当前最先进方法的局限性，为未来算法改进提供指导。

提出的方法

• RTMV使用基于Python的光线追踪器NViSII生成，以1600×1600分辨率输出物理真实、无噪声的图像。
• 该数据集包含近2000个场景，源自四个不同的3D网格数据集，确保几何结构、材质、纹理和光照的多样性。
• 相机位姿分布在半球面或环境内自由分布，支持自由视角渲染和具有挑战性的相机运动。
• SVLF采用稀疏体素八叉树表示，以减少内存占用和计算量，每条光线仅查询少量体素。
• 该方法使用轻量级神经网络，结合共享解码器与三线性插值，以保持特征连续性，降低模型复杂度。
• 训练过程中使用真实深度图以指导光学厚度和表面击中估计，提升训练稳定性和效率。

实验结果

研究问题

• RQ1 现有新视角合成方法能否泛化到大规模、多样化、高保真度的合成数据集，且包含复杂场景与自由相机运动？
• RQ2 当扩展到大规模数据集时，NeRF和mip-NeRF等现有方法在计算和性能上的瓶颈是什么？
• RQ3 稀疏体素光场方法在显著降低训练和推理时间的同时，能在多大程度上实现与NeRF相当的图像质量？
• RQ4 视图相关效应、半透明材质以及体素边界伪影如何影响基于体素方法的渲染质量？
• RQ5 合成数据集中丰富的元数据能否支持新型训练范式，如少样本视角合成或深度监督学习？

主要发现

• RTMV包含约30万张高分辨率（1600×1600）图像，来自近2000个复杂、多物体场景，涵盖多样化材质、光照和相机位姿。
• SVLF在RTMV基准上实现的新视角合成性能与NeRF相当，训练速度提升一个数量级，渲染速度提升两个数量级。
• 该方法通过降低网络复杂度并利用真实深度图，提升了训练效率并减少了伪影。
• 当相机过于靠近场景时，SVLF显示出明显的体素边界伪影，表明其在高倍率渲染方面存在局限性。
• 光学厚度训练不充分会导致渲染图像中出现偶尔的浮动物或孔洞，尤其在红色鞋子等复杂区域更为明显。
• 由于网络架构中未显式输入视角方向，该方法在处理视图相关效应（如高光）时表现不佳。