[论文解读] 3D Density-Gradient based Edge Detection on Neural Radiance Fields (NeRFs) for Geometric Reconstruction

Miriam Jäger, Boris Jutzi|arXiv (Cornell University)|Sep 26, 2023

Optical measurement and interference techniquesComputer Science被引用 3

一句话总结

本文提出一种基于3D密度梯度的边缘检测方法，用于从神经辐射场（NeRF）中进行几何重建，通过在体素化密度场中应用Sobel、Canny和拉普拉斯高斯（LoG）滤波器，提取与绝对密度值无关的边缘。Canny滤波器在完整性与正确性之间实现了最佳平衡，生成几乎无间隙、高精度的3D重建结果，且无需依赖经验性的全局密度阈值。

ABSTRACT

Generating geometric 3D reconstructions from Neural Radiance Fields (NeRFs) is of great interest. However, accurate and complete reconstructions based on the density values are challenging. The network output depends on input data, NeRF network configuration and hyperparameter. As a result, the direct usage of density values, e.g. via filtering with global density thresholds, usually requires empirical investigations. Under the assumption that the density increases from non-object to object area, the utilization of density gradients from relative values is evident. As the density represents a position-dependent parameter it can be handled anisotropically, therefore processing of the voxelized 3D density field is justified. In this regard, we address geometric 3D reconstructions based on density gradients, whereas the gradients result from 3D edge detection filters of the first and second derivatives, namely Sobel, Canny and Laplacian of Gaussian. The gradients rely on relative neighboring density values in all directions, thus are independent from absolute magnitudes. Consequently, gradient filters are able to extract edges along a wide density range, almost independent from assumptions and empirical investigations. Our approach demonstrates the capability to achieve geometric 3D reconstructions with high geometric accuracy on object surfaces and remarkable object completeness. Notably, Canny filter effectively eliminates gaps, delivers a uniform point density, and strikes a favorable balance between correctness and completeness across the scenes.

研究动机与目标

• 为解决基于NeRF的3D重建中全局密度阈值方法存在的局限性，后者常导致噪声大、不完整或依赖场景的结果。
• 探索利用一阶与二阶导数导出的密度梯度，作为绝对密度值的稳健替代方案，用于边缘检测。
• 通过在体素化密度场中应用各向异性、基于邻域的梯度滤波，提升3D重建的几何精度与完整性。
• 评估不同3D边缘检测滤波器（Sobel、Canny、LoG）在基于NeRF重建中的性能表现。
• 证明基于梯度的方法可降低对经验性阈值调优的依赖，同时保持或提升重建质量。

提出的方法

• 将NeRF的密度场体素化为3D网格，以支持空间梯度计算。
• 应用3D边缘检测滤波器（Sobel、Canny和拉普拉斯高斯（LoG））计算相邻体素间密度值的一阶与二阶导数。
• 梯度基于相对密度差异，因此与绝对密度大小无关，从而在不同NeRF配置与场景下均具备鲁棒性。
• 生成的边缘图用于提取几何表面，其中Canny滤波器特别设计用于最小化间隙并确保点密度均匀。
• 该方法处理整个体素化密度场，可在无需射线特定采样的情况下实现对密度变化的各向异性处理。
• 后处理可包括表面提取（如凸包）以去除因处理整个体积分而产生的内部伪影。

Figure 1: Density Gradient e.g. for 1D on a ray. The illustrations display the characteristics of the density values exemplarily as they would occur during ray tracing into the direction of an object. From top to bottom: An ideal edge in a binary non-object to object space, the raw density values, t

实验结果

研究问题

• RQ1 与全局密度阈值相比，基于一阶与二阶导数的密度梯度是否能提升基于NeRF的3D重建在几何完整性与准确性方面的表现？
• RQ2 在不同场景下，Sobel、Canny与LoG等不同3D边缘检测滤波器在完整性、正确性与间隙形成方面的表现如何？
• RQ3 基于梯度的方法在多大程度上独立于绝对密度值，从而在不同NeRF超参数与网络配置下保持鲁棒性？
• RQ4 Canny滤波器是否在正确性与完整性之间提供了优于其他滤波器与阈值策略的平衡？
• RQ5 基于梯度的重建是否能消除对经验性阈值调优的依赖，同时保持或提升重建质量？

主要发现

• Canny滤波器在所有DTU基准场景中均实现了最高的几何完整性与正确性，生成了近乎无间隙的重建结果。
• 定量结果显示，Canny滤波器在参考数据间误差（reference-to-data）上达到3.89 mm的平均误差，优于Sobel（3.97 mm）与LoG（3.52 mm），整体精度更优。
• Canny滤波器在正确性与完整性之间保持了良好平衡，其参考数据间误差的平均值为2.85 mm，优于常以牺牲正确性为代价换取完整性的全局阈值方法。
• Sobel与LoG滤波器也表现出色，但Canny滤波器始终能有效减少间隙，并确保物体表面点密度均匀。
• 该方法表现出对绝对密度值的独立性，因为梯度仅依赖于邻近体素的相对差异，从而降低了对NeRF特定超参数的依赖。
• 尽管表面精度较高，但由于处理了整个体积分，仍观察到内部伪影（物体内部的点），表明需要采用仅提取表面的方法（如凸包）进行改进。