[论文解读] Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

Jiaxiang Tang, Hang Zhou+5 more|arXiv (Cornell University)|Mar 3, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出 NeRF2Mesh 框架，通过自适应优化由 NeRF 衍生的粗略网格，从多视角 RGB 图像中恢复出高质量的纹理表面网格。该方法基于 2D 渲染误差，通过迭代调整顶点和面密度，联合优化几何与外观，生成可实时渲染的网格，并支持漫反射和视角依赖的高光纹理。

ABSTRACT

Neural Radiance Fields (NeRF) have constituted a remarkable breakthrough in image-based 3D reconstruction. However, their implicit volumetric representations differ significantly from the widely-adopted polygonal meshes and lack support from common 3D software and hardware, making their rendering and manipulation inefficient. To overcome this limitation, we present a novel framework that generates textured surface meshes from images. Our approach begins by efficiently initializing the geometry and view-dependency decomposed appearance with a NeRF. Subsequently, a coarse mesh is extracted, and an iterative surface refining algorithm is developed to adaptively adjust both vertex positions and face density based on re-projected rendering errors. We jointly refine the appearance with geometry and bake it into texture images for real-time rendering. Extensive experiments demonstrate that our method achieves superior mesh quality and competitive rendering quality.

研究动机与目标

• 弥合隐式 NeRF 与显式多边形网格之间的表示差距，以提升在实时图形与交互式应用中的可用性。
• 克服 NeRF 隐式表示在常见 3D 软件与硬件中的效率低下与不兼容问题。
• 实现高保真度的网格重建，同时保留精细细节与视角依赖的外观表现，并保持具有竞争力的渲染质量。
• 通过导出包含标准 RGB 与基于特征的纹理的网格，支持实际下游应用，适用于游戏引擎与 CAD 工具。

提出的方法

• 使用预训练的 NeRF 初始化几何与视角依赖的外观，将外观分解为漫反射与高光分量。
• 使用 Marching Cubes 或类似方法，从 NeRF 的隐式表示中提取初始粗略网格。
• 应用一种迭代自适应表面优化算法，根据渲染图像的重投影误差调整顶点位置与面密度。
• 通过最小化 2D 渲染损失，联合优化几何与外观，其中面密度的细化由误差幅度与表面复杂度引导。
• 将优化后的漫反射颜色烘焙为 RGB 纹理，将高光响应烘焙为特征纹理，通过片段着色器中的小型 MLP 实现实时渲染。
• 引入正则化损失（TV 损失、熵损失），以提升网格平滑性并防止优化过程中的过拟合。

实验结果

研究问题

• RQ1 能否有效优化从 NeRF 提取的粗略网格，以实现高几何保真度，同时保留视角依赖的外观？
• RQ2 基于 2D 渲染误差的自适应网格优化，相较于固定或均匀优化，如何同时提升网格质量与渲染精度？
• RQ3 所生成的纹理网格在多大程度上支持标准 3D 图形管线中的实时渲染与交互式编辑？
• RQ4 在自适应优化与均匀优化之间，网格复杂度（顶点/面数）与渲染质量之间的权衡如何？
• RQ5 将外观分解为漫反射与高光分量，对纹理可编辑性与渲染真实感有何影响？

主要发现

• NeRF2Mesh 在 NeRF-synthetic 数据集上实现了具有竞争力的渲染质量，PSNR 达到 29.76，SSIM 达到 0.940，优于基于体素的 NeRF 在网格渲染质量上的表现。
• 在 LLFF 数据集上，基于网格的渲染达到 PSNR 24.75 与 SSIM 0.780，表明其在场景级重建中具有强大的泛化能力。
• 在 Mip-NeRF 360 数据集上，该方法实现 PSNR 22.36 与 SSIM 0.493，展示了在具有背景杂乱的复杂场景中的鲁棒性。
• 消融研究证实，若移除 TV 损失，网格平滑性下降，LPIPS 升高（0.483 vs. 0.478）；若移除熵损失，则 PSNR 略有下降（22.32 vs. 22.36）。
• 与朴素的 Marching Cubes 相比，网格尺寸显著减小，自适应优化聚焦于高误差区域，从而生成更小、更高效的网格。
• 该框架成功支持 LOD 与实时渲染，如图 10 所示，并可通过标准 3D 软件实现交互式编辑。