[论文解读] Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis

Nicholas Sharp, Alec Jacobson|arXiv (Cornell University)|Feb 5, 2022

3D Shape Modeling and Analysis被引用 10

一句话总结

本文提出了一种新颖的方法，通过范围分析在一般神经隐式曲面上执行保证的几何查询，实现了即使在随机初始化的网络上，也能实现准确且鲁棒的光线投射、最近点评估和空间层次结构构建。通过应用基于仿射算术的范围分析来界定网络在区域内的输出，该方法提供了形式化的精度保证，并可集成到训练目标中。

ABSTRACT

Neural implicit representations, which encode a surface as the level set of a neural network applied to spatial coordinates, have proven to be remarkably effective for optimizing, compressing, and generating 3D geometry. Although these representations are easy to fit, it is not clear how to best evaluate geometric queries on the shape, such as intersecting against a ray or finding a closest point. The predominant approach is to encourage the network to have a signed distance property. However, this property typically holds only approximately, leading to robustness issues, and holds only at the conclusion of training, inhibiting the use of queries in loss functions. Instead, this work presents a new approach to perform queries directly on general neural implicit functions for a wide range of existing architectures. Our key tool is the application of range analysis to neural networks, using automatic arithmetic rules to bound the output of a network over a region; we conduct a study of range analysis on neural networks, and identify variants of affine arithmetic which are highly effective. We use the resulting bounds to develop geometric queries including ray casting, intersection testing, constructing spatial hierarchies, fast mesh extraction, closest-point evaluation, evaluating bulk properties, and more. Our queries can be efficiently evaluated on GPUs, and offer concrete accuracy guarantees even on randomly-initialized networks, enabling their use in training objectives and beyond. We also show a preliminary application to inverse rendering.

研究动机与目标

• 为解决在3D几何表示中广泛使用的通用神经隐式曲面上缺乏鲁棒且保证的几何查询问题。
• 克服近似符号距离函数的局限性，后者在训练过程中不可靠且缺乏形式化保证。
• 在任意神经隐式函数（包括未训练或随机初始化的网络）上实现准确的几何查询（如光线投射、最近点评估和空间层次结构构建）。
• 开发一种可无缝集成到可微训练流水线中的方法，通过提供网络输出的形式化边界。

提出的方法

• 使用仿射算术对神经网络应用范围分析，以计算输入区域上网络输出的严格边界。
• 利用自动算术规则将区间边界传播通过神经网络的每一层，同时保持紧致性和数值稳定性。
• 设计一种专为深度神经网络优化的仿射算术变体，在范围估计中实现高精度和高效率。
• 基于计算出的输出边界构建几何查询（如光线-曲面相交、最近点），确保正确性和鲁棒性。
• 通过利用可微且可并行化的算术运算，实现GPU加速的查询评估。
• 在训练和未训练的网络上验证该方法，证明其在训练目标和逆渲染中的实用性。

实验结果

研究问题

• RQ1 范围分析能否有效应用于深度神经网络，以在输入区域上提供其输出的严格边界？
• RQ2 这些边界能否用于在通用神经隐式曲面上构建几何查询（如光线投射和最近点评估），并保证正确性？
• RQ3 所提出的方法能否在随机初始化的网络上可靠运行，从而支持在可微训练流水线中的应用？
• RQ4 与依赖近似符号距离函数的现有方法相比，所提出的范围分析在性能和精度上表现如何？

主要发现

• 所提出的范围分析方法即使在网络随机初始化时，也能为神经隐式曲面上的几何查询提供形式化的精度保证。
• 识别出仿射算术变体在范围分析中极为有效，能在多种网络架构上提供紧致边界和数值稳定性。
• 该方法实现了鲁棒的光线投射、最近点评估和空间层次结构构建，保证了正确性，在可靠性方面优于近似方法。
• 几何查询可在GPU上高效评估，使该方法具备可扩展性，适用于实时和可微应用。
• 初步的逆渲染结果表明，该方法在需要精确几何反馈的优化流水线中具有应用潜力。