[论文解读] PermutoSDF: Fast Multi-View Reconstruction with Implicit Surfaces using Permutohedral Lattices

Radu Alexandru Roşu, Sven Behnke|arXiv (Cornell University)|Nov 22, 2022

Computer Graphics and Visualization Techniques被引用 4

一句话总结

该论文提出PermutoSDF，一种快速且高保真的多视角重建方法，结合基于哈希的编码与隐式符号距离函数（SDF），利用排列单纯形格点实现高效高维特征插值。该方法在RTX 3090上实现了30 fps的实时新视角渲染，并仅使用RGB图像即可恢复孔洞和褶皱等精细几何细节，在几何精度和训练速度方面优于先前方法。

ABSTRACT

Neural radiance-density field methods have become increasingly popular for the task of novel-view rendering. Their recent extension to hash-based positional encoding ensures fast training and inference with visually pleasing results. However, density-based methods struggle with recovering accurate surface geometry. Hybrid methods alleviate this issue by optimizing the density based on an underlying SDF. However, current SDF methods are overly smooth and miss fine geometric details. In this work, we combine the strengths of these two lines of work in a novel hash-based implicit surface representation. We propose improvements to the two areas by replacing the voxel hash encoding with a permutohedral lattice which optimizes faster, especially for higher dimensions. We additionally propose a regularization scheme which is crucial for recovering high-frequency geometric detail. We evaluate our method on multiple datasets and show that we can recover geometric detail at the level of pores and wrinkles while using only RGB images for supervision. Furthermore, using sphere tracing we can render novel views at 30 fps on an RTX 3090. Code is publicly available at: https://radualexandru.github.io/permuto_sdf

研究动机与目标

• 为解决基于密度的NeRF方法在恢复准确表面几何形状方面的局限性，特别是对镜面或无纹理区域的恢复能力不足。
• 克服现有基于SDF的方法中存在的过度平滑问题，以保留孔洞和褶皱等高频几何细节。
• 通过用更具可扩展性的排列单纯形格点结构替代体素哈希，加速神经隐式表面表示的训练与推理。
• 开发一种正则化方案，在保持表面平滑性的同时保留精细几何细节。
• 通过将格点结构扩展至更高维度，实现高效的4D时空表面建模。

提出的方法

• 用排列单纯形格点替代INGP中的体素哈希编码，该结构与维度呈线性扩展，可在高维特征空间中实现更快的插值。
• 在排列单纯形格点中使用基于哈希的特征查找，以高效计算查询点处的插值特征，降低计算开销。
• 通过排列单纯形格点编码场景的神经SDF和颜色场，并由浅层MLP解码以实现体素渲染。
• 引入多组件正则化方案：球体初始化、从粗到精的优化、曲率损失以及基于RGB的Lipschitz正则化，以保留精细细节。
• 采用无偏体素积分进行渲染，并使用球面追踪实现在消费级硬件上的30 fps实时推理。
• 通过将格点结构扩展至更高维度，将框架推广至4D，利用相同格点结构对随时间演化的表面进行编码，实现从定向点样本出发的4D表面学习。

实验结果

研究问题

• RQ1 基于排列单纯形格点的编码是否在训练与推理速度方面优于体素哈希，尤其是在3D及以上维度？
• RQ2 新颖的正则化方案是否能够恢复如孔洞和褶皱等高频几何细节，同时避免过度平滑？
• RQ3 具有基于哈希编码的神经隐式SDF在仅使用RGB图像、无显式监督的情况下，能否准确重建几何形状？
• RQ4 该方法能否高效建模时变表面？格点结构在这一扩展中起到何种支持作用？
• RQ5 SDF与哈希编码的结合相较于现有混合密度-SDF或占用率基方法，在几何精度与细节恢复方面表现如何？

主要发现

• 排列单纯形格点在训练与推理方面均优于立方体体素哈希，且在更高维度下性能差距显著，归因于其与维度呈线性扩展的特性。
• 在Multiface数据集上，PermutoSDF的PSNR达到34.92，优于NeuS的33.49，表明其在细节恢复与图像质量方面更具优势。
• 消融实验证实，通过Lipschitz损失实现的RGB正则化对恢复精细几何细节至关重要，使Chamfer距离降至所有配置中的最低水平。
• 该方法成功学习了4D动态表面，通过在时间维度上扫描可实现中间形态的可视化。
• 系统在RTX 3090上训练时间约为30分钟，使用球面追踪实现30 fps的新视角渲染，支持实时推理。
• 在虚拟相机完全校准的合成上界实验中，PermutoSDF成功恢复了先前基于学习的体素方法未能捕捉到的孔洞与褶皱。