[論文レビュー] Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis

Nicholas Sharp, Alec Jacobson|arXiv (Cornell University)|Feb 5, 2022

3D Shape Modeling and Analysis被引用数 10

ひとこと要約

この論文は、範囲解析を用いた新規手法を導入し、一般のニューラルインクリメント表面における保証付き幾何クエリを実現する。これにより、ランダムに初期化されたネットワークですら、正確で頑健なレイキャスティング、最近点評価、空間階層構築が可能になる。アフィン算術を用いた範囲解析を適用することで、ネットワーク出力を領域全体にわたって厳密に束縛し、形式的な正確性保証を提供するとともに、訓練目的への統合を可能にする。

ABSTRACT

Neural implicit representations, which encode a surface as the level set of a neural network applied to spatial coordinates, have proven to be remarkably effective for optimizing, compressing, and generating 3D geometry. Although these representations are easy to fit, it is not clear how to best evaluate geometric queries on the shape, such as intersecting against a ray or finding a closest point. The predominant approach is to encourage the network to have a signed distance property. However, this property typically holds only approximately, leading to robustness issues, and holds only at the conclusion of training, inhibiting the use of queries in loss functions. Instead, this work presents a new approach to perform queries directly on general neural implicit functions for a wide range of existing architectures. Our key tool is the application of range analysis to neural networks, using automatic arithmetic rules to bound the output of a network over a region; we conduct a study of range analysis on neural networks, and identify variants of affine arithmetic which are highly effective. We use the resulting bounds to develop geometric queries including ray casting, intersection testing, constructing spatial hierarchies, fast mesh extraction, closest-point evaluation, evaluating bulk properties, and more. Our queries can be efficiently evaluated on GPUs, and offer concrete accuracy guarantees even on randomly-initialized networks, enabling their use in training objectives and beyond. We also show a preliminary application to inverse rendering.

研究の動機と目的

• 3Dジオメトリ表現で一般的に用いられる一般のニューラルインクリメント表面における、ロバストで保証付きの幾何クエリの欠如に取り組むこと。
• 訓練中に不安定で形式的保証のない近似符号付き距離関数の限界を克服すること。
• 任意のニューラルインクリメント関数、特に訓練されていないかランダムに初期化されたネットワークに対しても、レイキャスティング、最近点評価、空間階層構築などの正確な幾何クエリを可能にすること。
• ネットワーク出力の形式的バウンディングを提供することで、異なる可微分訓練パイプラインにスムーズに統合できる手法を開発すること。

提案手法

• 入力領域全体におけるネットワーク出力の厳密なバウンディングを実現するため、アフィン算術を用いた範囲解析をニューラルネットワークに適用する。
• 自動算術規則を用いて、各層を通過する間隔バウンディングを伝搬させ、タイトさと数値的安定性を維持する。
• 深層ニューラルネットワークに特化したアフィン算術の変種を設計し、範囲推定において高い正確性と効率性を達成する。
• 計算された出力バウンディングに基づいて幾何クエリ（例：レイ-表面干渉、最近点）を構築し、正しさと頑健性を保証する。
• 微分可能で並列化可能な算術演算を活用して、GPUによるクエリ評価を可能にする。
• 訓練済みおよび未訓練ネットワークの両方で手法を検証し、訓練目的および逆レンダリングにおける有用性を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークに範囲解析を効果的に適用し、入力領域全体における出力の厳密なバウンディングを提供できるか？
• RQ2 これらのバウンディングを用いて、一般のニューラルインクリメント表面において、レイキャスティングや最近点評価などの幾何クエリを形式的に正しく構築できるか？
• RQ3 提案手法はランダムに初期化されたネットワークでも信頼性を持って動作し、可微分訓練パイプラインへの統合が可能か？
• RQ4 近似符号付き距離関数に依存する従来手法と比較して、提案手法の範囲解析の性能と正確性はどのように異なるか？

主な発見

• 提案手法による範囲解析は、ネットワークがランダムに初期化されていようとも、ニューラルインクリメント表面における幾何クエリに対して形式的な正確性保証を提供する。
• アフィン算術の変種が範囲解析において極めて効果的であることが同定され、多様なネットワークアーキテクチャにわたってタイトなバウンディングと数値的安定性を実現した。
• 手法は、正しさが保証された頑健なレイキャスティング、最近点評価、空間階層構築を可能にし、信頼性において近似手法を上回る。
• GPUを活用した効率的なクエリ評価が可能であり、スケーラブルでリアルタイムおよび可微分応用に適したアーキテクチャである。
• 逆レンダリングにおける予備的結果から、正確な幾何フィードバックを必要とする最適化パイプラインへの応用可能性が示された。