[論文レビュー] 3D Density-Gradient based Edge Detection on Neural Radiance Fields (NeRFs) for Geometric Reconstruction

Miriam Jäger, Boris Jutzi|arXiv (Cornell University)|Sep 26, 2023

Optical measurement and interference techniquesComputer Science被引用数 3

ひとこと要約

本稿では、Neural Radiance Fields (NeRF) からの幾何再構築のための、3次元密度勾配に基づくエッジ検出手法を提案する。ボクセル化された密度フィールドにSobel、Canny、およびLaplacian of Gaussian (LoG) フィルタを適用することで、絶対的密度値に依存しないエッジ抽出を実現する。Cannyフィルタが完全性と正確性のバランスが最も優れており、経験的グローバル密度しきい値に依存せずに、ほぼ継ぎ目のない高精度な3次元再構築を達成する。

ABSTRACT

Generating geometric 3D reconstructions from Neural Radiance Fields (NeRFs) is of great interest. However, accurate and complete reconstructions based on the density values are challenging. The network output depends on input data, NeRF network configuration and hyperparameter. As a result, the direct usage of density values, e.g. via filtering with global density thresholds, usually requires empirical investigations. Under the assumption that the density increases from non-object to object area, the utilization of density gradients from relative values is evident. As the density represents a position-dependent parameter it can be handled anisotropically, therefore processing of the voxelized 3D density field is justified. In this regard, we address geometric 3D reconstructions based on density gradients, whereas the gradients result from 3D edge detection filters of the first and second derivatives, namely Sobel, Canny and Laplacian of Gaussian. The gradients rely on relative neighboring density values in all directions, thus are independent from absolute magnitudes. Consequently, gradient filters are able to extract edges along a wide density range, almost independent from assumptions and empirical investigations. Our approach demonstrates the capability to achieve geometric 3D reconstructions with high geometric accuracy on object surfaces and remarkable object completeness. Notably, Canny filter effectively eliminates gaps, delivers a uniform point density, and strikes a favorable balance between correctness and completeness across the scenes.

研究の動機と目的

• グローバル密度しきい値によるNeRFベースの3次元再構築における限界、すなわちノイズが多く、不完全であるか、シーン依存の結果となる問題を解決すること。
• 絶対的密度値の代わりに、1階微分および2階微分から得られる密度勾配を用いることで、エッジ検出のためのより強固な代替手法を検討すること。
• ボクセル化された密度フィールドにおける非等方的かつ近隣依存の勾配フィルタリングを活用することで、3次元再構築の幾何的正確性と完全性を向上させること。
• Sobel、Canny、LoGといった異なる3次元エッジ検出フィルタの性能を、NeRFベースの再構築文脈において評価すること。
• 勾配ベースの手法が経験的しきい値チューニングに依存することを低減しながら、再構築品質を維持または向上させることを実証すること。

提案手法

• NeRFの密度フィールドをボクセル化し、空間的勾配計算を可能にする。
• Sobel、Canny、およびLaplacian of Gaussian (LoG) の3次元エッジ検出フィルタを用いて、隣接ボクセル間の密度値の1階および2階微分を計算する。
• 勾配は相対的密度差に依存するため、絶対的密度の大きさに依存せず、さまざまなNeRF設定やシーンに対して堅牢である。
• 得られたエッジマップを用いて幾何的表面を抽出し、特にCannyフィルタは継ぎ目を最小限に抑え、均一な点密度を確保するように設計されている。
• アプローチは全ボクセル化密度フィールドを処理するため、レイトレースに特化したサンプリングを必要とせず、密度変動に対して非等方的処理が可能である。
• 後処理として、表面抽出（例：凸包）を実施することで、全体積処理に起因する内部アーチファクトを除去する可能性がある。

Figure 1: Density Gradient e.g. for 1D on a ray. The illustrations display the characteristics of the density values exemplarily as they would occur during ray tracing into the direction of an object. From top to bottom: An ideal edge in a binary non-object to object space, the raw density values, t

実験結果

リサーチクエスチョン

• RQ1 1階および2階微分からの密度勾配は、グローバル密度しきい値に比べ、NeRFベースの3次元再構築における幾何的完全性と正確性を向上させ得るか？
• RQ2 Sobel、Canny、LoGといった異なる3次元エッジ検出フィルタは、多様なシーンにおいて完全性、正確性、継ぎ目形成の観点でどのように性能を発揮するか？
• RQ3 勾配ベースの手法は、絶対的密度値にどれほど依存せず、さまざまなNeRFハイパーパrameterおよびネットワーク設定に対して堅牢であるか？
• RQ4 Cannyフィルタは、他のフィルターやしきい値戦略と比較して、正確性と完全性のバランスに優れているか？
• RQ5 勾配ベースの再構築は、経験的しきい値チューニングの必要性を排除しつつ、再構築品質を維持または向上させ得るか？

主な発見

• Cannyフィルタは、DTUベンチマークの全シーンにおいて、最も高い幾何的完全性と正確性を達成し、ほぼ継ぎ目のない再構築を実現した。
• 定量的評価では、Cannyフィルタが平均再構築誤差3.89 mm（リファレンス対データ）を達成し、Sobel（3.97 mm）およびLoG（3.52 mm）を上回る全体的な正確性を示した。
• Cannyフィルタは正確性と完全性のバランスを良好に維持し、リファレンス対データ指標で平均誤差2.85 mmを記録し、しばしば正確性を犠牲にして完全性を求めるグローバルしきい値戦略を上回った。
• SobelおよびLoGフィルタも良好な性能を示したが、Cannyフィルタは継続的に継ぎ目を低減し、物体表面全体で均一な点密度を確保した。
• 絶対的密度値に依存しないという特徴を示し、勾配は隣接する差にのみ依存するため、NeRF固有のハイパーパrameterへの依存が低減された。
• 高い表面正確性を達成したが、全ボリューム処理に起因して内部アーチファクト（物体内部の点）が観察されたため、凸包などの表面専用抽出手法の導入が求められる。