[논문 리뷰] 3D Density-Gradient based Edge Detection on Neural Radiance Fields (NeRFs) for Geometric Reconstruction

Miriam Jäger, Boris Jutzi|arXiv (Cornell University)|2023. 09. 26.

Optical measurement and interference techniquesComputer Science인용 수 3

한 줄 요약

이 논문은 신경 볼륨 렌더링 필드(NeRF)에서 기하 재구성용 3D 밀도 기울기 기반 에지 검출 방법을 제안한다. 볼록체 밀도 필드에 소벨, 캐니, 라플라시안 오브 가우시안 필터를 적용하여 절대 밀도 값에 의존하지 않는 에지를 추출한다. 캐니 필터는 완전성과 정확성의 최적의 균형을 이루며, 경험적 전역 밀도 임계값에 의존하지 않고 거의 틈이 없는 고정밀도 3D 재구성을 생성한다.

ABSTRACT

Generating geometric 3D reconstructions from Neural Radiance Fields (NeRFs) is of great interest. However, accurate and complete reconstructions based on the density values are challenging. The network output depends on input data, NeRF network configuration and hyperparameter. As a result, the direct usage of density values, e.g. via filtering with global density thresholds, usually requires empirical investigations. Under the assumption that the density increases from non-object to object area, the utilization of density gradients from relative values is evident. As the density represents a position-dependent parameter it can be handled anisotropically, therefore processing of the voxelized 3D density field is justified. In this regard, we address geometric 3D reconstructions based on density gradients, whereas the gradients result from 3D edge detection filters of the first and second derivatives, namely Sobel, Canny and Laplacian of Gaussian. The gradients rely on relative neighboring density values in all directions, thus are independent from absolute magnitudes. Consequently, gradient filters are able to extract edges along a wide density range, almost independent from assumptions and empirical investigations. Our approach demonstrates the capability to achieve geometric 3D reconstructions with high geometric accuracy on object surfaces and remarkable object completeness. Notably, Canny filter effectively eliminates gaps, delivers a uniform point density, and strikes a favorable balance between correctness and completeness across the scenes.

연구 동기 및 목표

• NeRF 기반 3D 재구성에서 전역 밀도 임계값의 한계를 해결하기 위해, 이는 종종 노이즈가 많고 불완전하거나 장면에 따라 달라지는 결과를 초래한다.
• 절대 밀도 값 대신 제1 및 제2 도함수에서 유도된 밀도 기울기를 사용하여, 에지 검출에 대한 강력한 대안을 탐색한다.
• 볼록체 밀도 필드에 대한 이방성 및 국소 기반 기울기 필터링을 활용하여 3D 재구성의 기하 정확도와 완전성을 향상시킨다.
• NeRF 기반 재구성 맥락에서 다양한 3D 에지 검출 필터(Sobel, Canny, LoG)의 성능을 평가한다.
• 기울기 기반 방법이 경험적 임계값 튜닝에 대한 의존도를 감소시키면서도 재구성 품질을 유지하거나 향상시킬 수 있음을 보여준다.

제안 방법

• NeRF의 밀도 필드를 3D 격자로 볼록체화하여 공간 기울기 계산을 가능하게 한다.
• 제1 및 제2 도함수를 계산하기 위해 3D 에지 검출 필터(Sobel, Canny, 라플라시안 오브 가우시안(LoG))를 적용한다.
• 기울기는 절대 밀도 크기에 관계없이 국소 인접 볼록체 간의 상대적 밀도 차이에 기반하므로, 다양한 NeRF 설정 및 장면에서 강건하다.
• 결과로 생성된 에지 맵은 기하 표면 추출에 사용되며, 특히 캐니 필터는 틈을 최소화하고 균일한 점 밀도를 보장하도록 설계되어 있다.
• 이 방법은 전체 볼록체 밀도 필드를 처리하므로, 레이 기반 샘플링 없이 이방성 방식으로 밀도 변화를 처리할 수 있다.
• 후처리 단계에서 볼록체 헐 등의 표면 추출 기법을 사용해 전체 부피 처리로 인한 내부 잡음 제거가 가능하다.

Figure 1: Density Gradient e.g. for 1D on a ray. The illustrations display the characteristics of the density values exemplarily as they would occur during ray tracing into the direction of an object. From top to bottom: An ideal edge in a binary non-object to object space, the raw density values, t

실험 결과

연구 질문

• RQ1 제1 및 제2 도함수에서 유도된 밀도 기울기는 전역 밀도 임계값 대비 NeRF 기반 3D 재구성에서 기하 완전성과 정확성을 향상시키는가?
• RQ2 Sobel, Canny, LoG와 같은 다양한 3D 에지 검출 필터는 다양한 장면에서 완전성, 정확성, 틈 형성 측면에서 어떻게 성능을 내는가?
• RQ3 기울기 기반 방법이 절대 밀도 값에 얼마나 의존하지 않으며, 다양한 NeRF 하이퍼파rameter 및 네트워크 구성에 대해 얼마나 강건한가?
• RQ4 캐니 필터는 다른 필터 및 임계값 전략 대비 정확성과 완전성의 균형을 얼마나 잘 유지하는가?
• RQ5 기울기 기반 재구성은 경험적 임계값 튜닝이 필요 없이도 재구성 품질을 유지하거나 향상시킬 수 있는가?

주요 결과

• 캐니 필터는 모든 장면에서 가장 높은 기하 완전성과 정확성을 확보하여 DTU 벤치마크에서 거의 틈이 없는 재구성을 생성했다.
• 정량적 결과에서 캐니 필터는 평균 재구성 오차 3.89 mm(기준 대비 데이터)를 기록하여 소벨(3.97 mm)과 LoG(3.52 mm)보다 전체 정확도에서 뛰어났다.
• 캐니 필터는 정확성과 완전성의 균형을 잘 유지했으며, 기준 대비 데이터 메트릭에서 평균 오차 2.85 mm를 기록하여 전역 임계값이 종종 정확성을 희생하여 완전성을 확보하는 것보다 뛰어났다.
• 소벨 및 LoG 필터도 뛰어난 성능를 보였지만, 캐니 필터는 항상 틈을 줄이고 물체 표면의 균일한 점 밀도를 확보했다.
• 기울기는 절대 밀도 값에 의존하지 않고 국소 이웃 간의 상대적 차이에 기반하므로, 이 방법은 NeRF 전용 하이퍼파rameter에 대한 의존도가 낮음을 입증했다.
• 높은 표면 정확도에도 불구하고 전체 부피 처리로 인해 내부 잡음(물체 내부의 점들)이 관찰되어, 표면 전용 추출 방법(예: 볼록체 헐)의 필요성이 제기되었다.