[论文解读] HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

Yiqun Wang, Ivan Skorokhodov+1 more|arXiv (Cornell University)|Jun 15, 2022

3D Shape Modeling and Analysis被引用 47

一句话总结

HF-NeuS 通过将透明度建模为变换后的 SDF、使用基函数加位移 SDF 来获取高频细节，并应用自适应、空间可变的优化以聚焦于有伪影的表面区域，从而提升神经表面重建。

ABSTRACT

Neural rendering can be used to reconstruct implicit representations of shapes without 3D supervision. However, current neural surface reconstruction methods have difficulty learning high-frequency geometry details, so the reconstructed shapes are often over-smoothed. We develop HF-NeuS, a novel method to improve the quality of surface reconstruction in neural rendering. We follow recent work to model surfaces as signed distance functions (SDFs). First, we offer a derivation to analyze the relationship between the SDF, the volume density, the transparency function, and the weighting function used in the volume rendering equation and propose to model transparency as transformed SDF. Second, we observe that attempting to jointly encode high-frequency and low-frequency components in a single SDF leads to unstable optimization. We propose to decompose the SDF into a base function and a displacement function with a coarse-to-fine strategy to gradually increase the high-frequency details. Finally, we design an adaptive optimization strategy that makes the training process focus on improving those regions near the surface where the SDFs have artifacts. Our qualitative and quantitative results show that our method can reconstruct fine-grained surface details and obtain better surface reconstruction quality than the current state of the art. Code available at https://github.com/yiqun-wang/HFS.

研究动机与目标

• 在无需 3D 监督的前提下，推动神经渲染中高频表面细节的更好恢复。
• 推导并采用基于变换的符号距离函数（SDF）的透明度公式。
• 提出一个粗到细的隐式位移框架，分别学习基础和高频表面细节。
• 引入一种对表面区域自适应、空间可变的优化聚焦策略，以处理伪影。
• 在多视图基准和高频细节场景下展示最先进的表面重建性能。

提出的方法

• 推导符号距离函数（SDF）、体积密度、透明度与体积渲染中的权重函数之间的关系，并提出一个单调的基于 sigmoid 的透明度函数 T(t)=1/(1+exp(-s f(r(t))))，其中 s 是可训练的斜率参数。
• 将 SDF 分解为基函数和隐式位移函数，以分别捕捉低频和高频几何形状，采用粗到细的训练方案并对每个分量进行位置编码。
• 采用带有频率控制的位置编码的粗到细策略，逐步引入高频细节，并使用两个 MLP 来建模基础函数 (fb) 和位移函数 (fd)，并进行自适应采样。
• 引入一个对透明度映射的自适应、空间可变的尺度 s，依据射线沿线的 SDF 梯度范数和学习得到的加权方案计算，以把优化聚焦在靠近有伪影的表面区域。
• 使用辐射度损失和 Eikonal 规则化损失对基础和详细 SDF 同时训练，以加强表面一致性和梯度范数约束。

实验结果

研究问题

• RQ1 透明度能否被有效建模为变换后的 SDF 以提升表面重建质量？
• RQ2 将 SDF 分解为基函数和隐式位移函数是否能在无需3D监督的情况下更好地恢复高频表面细节？
• RQ3 采用粗到细、带有频率控制的训练方案是否能使神经表面重建中的高频几何学习更加稳定？
• RQ4 在表面附近进行的对透明度斜率 s 的空间自适应分区域优化是否能提升重建保真度？
• RQ5 在具有高频几何的基准数据集上，HF-NeuS 相较于 NeuS 和 VolSDF 在 Chamfer 距离和 PSNR 方面有何表现？

主要发现

• HF-NeuS 在高频细节数据集上对 NeuS 和 VolSDF 显示出改进的表面重建质量（定性和定量均有提升）。
• 基于变换 SDF 的透明度模型在密度计算上提供了更简单的离散化，并支持逆 CDF 采样，提升渲染精度。
• 带有粗到细频率控制的基加位移 SDF 分解，使网络比单一 SDF 更有效地学习高频细节。
• 自适应、空间可变的斜率参数 s 将优化聚焦在带伪影的表面区域，提升局部保真度。
• 在 DTU、NeRF-synthetic 和 BlendedMVS 数据集上，HF-NeuS 实现了更高的 PSNR 和更低的 Chamfer 距离，在具有高频细节场景上尤为显著。