[논문 리뷰] Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis

Nicholas Sharp, Alec Jacobson|arXiv (Cornell University)|2022. 02. 05.

3D Shape Modeling and Analysis인용 수 10

한 줄 요약

이 논문은 범용 신경망 암시 표면에서 범위 분석을 사용하여 보장된 기하 쿼리를 수행하는 새로운 방법을 제안한다. 이는 무작위로 초기화된 네트워크에서도 정확하고 강력한 레이 캐스팅, 최근접점 평가, 공간 계층 구조 생성을 가능하게 한다. 애핀 아리즘 기반의 범위 분석을 적용하여 네트워크 출력을 영역 전체에 걸쳐 경계 지정함으로써 공식적인 정확성 보장을 제공하고, 학습 목표에의 통합을 가능하게 한다.

ABSTRACT

Neural implicit representations, which encode a surface as the level set of a neural network applied to spatial coordinates, have proven to be remarkably effective for optimizing, compressing, and generating 3D geometry. Although these representations are easy to fit, it is not clear how to best evaluate geometric queries on the shape, such as intersecting against a ray or finding a closest point. The predominant approach is to encourage the network to have a signed distance property. However, this property typically holds only approximately, leading to robustness issues, and holds only at the conclusion of training, inhibiting the use of queries in loss functions. Instead, this work presents a new approach to perform queries directly on general neural implicit functions for a wide range of existing architectures. Our key tool is the application of range analysis to neural networks, using automatic arithmetic rules to bound the output of a network over a region; we conduct a study of range analysis on neural networks, and identify variants of affine arithmetic which are highly effective. We use the resulting bounds to develop geometric queries including ray casting, intersection testing, constructing spatial hierarchies, fast mesh extraction, closest-point evaluation, evaluating bulk properties, and more. Our queries can be efficiently evaluated on GPUs, and offer concrete accuracy guarantees even on randomly-initialized networks, enabling their use in training objectives and beyond. We also show a preliminary application to inverse rendering.

연구 동기 및 목표

• 3차원 기하 표현에서 흔히 사용되는 일반적인 신경 암시 표면에서 강력하고 보장된 기하 쿼리의 부족을 해결하기 위해.
• 학습 중에 신뢰할 수 없고 공식적인 보장을 갖지 못하는 근사 부호 거리 함수의 한계를 극복하기 위해.
• 학습되지 않은 또는 무작위로 초기화된 네트워크를 포함한 임의의 신경 암시 함수에서도 정확한 기하 쿼리(예: 레이 캐스팅, 최근접점 평가, 공간 계층 구조 생성)를 가능하게 하기 위해.
• 네트워크 출력에 대한 공식적인 경계를 제공하여 다양한 미분 가능 학습 파ip라인에 원활하게 통합될 수 있는 방법을 개발하기 위해.

제안 방법

• 입력 영역 전체에 걸쳐 네트워크 출력의 엄밀한 경계를 계산하기 위해 애핀 아리즘을 사용한 신경망에 대한 범위 분석을 적용하기 위해.
• 자동 산술 규칙을 사용하여 각 레이어를 통해 간격 경계를 전파함으로써 타이트함과 수치적 안정성을 유지하기 위해.
• 깊은 신경망에 특화된 애핀 아리즘의 변형을 설계하여 범위 추정에서 높은 정확도와 효율성을 달성하기 위해.
• 계산된 출력 경계를 기반으로 기하 쿼리(예: 레이-표면 교차, 최근접점)를 구성하여 정확성과 강력함을 보장하기 위해.
• 다양이 가능한 및 병렬화 가능한 산술 연산을 활용하여 GPU 가속 평가를 가능하게 하기 위해.
• 학습된 네트워크와 학습되지 않은 네트워크 모두에서 방법을 검증하여, 학습 목표 및 역 렌더링에서의 유용성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 깊은 신경망에 대해 범위 분석을 효과적으로 적용하여 입력 영역 전체에 걸친 네트워크 출력에 대한 엄밀한 경계를 제공할 수 있는가?
• RQ2 이러한 경계를 사용하여 일반적인 신경 암시 표면에서 레이 캐스팅 및 최근접점 평가와 같은 기하 쿼리를 보장된 정확성으로 구성할 수 있는가?
• RQ3 제안된 방법은 무작위로 초기화된 네트워크에서도 신뢰성 있게 작동하여, 다양한 학습 파이프라인에 활용될 수 있는가?
• RQ4 기존의 근사 부호 거리 함수에 의존하는 방법과 비교해 볼 때, 제안된 범위 분석의 성능 및 정확도는 어떠한가?

주요 결과

• 제안된 범위 분석 방법은 네트워크가 무작위로 초기화되어 있어도 신경 암시 표면에서 기하 쿼리에 대해 공식적인 정확성 보장을 제공한다.
• 애핀 아리즘의 변형이 범위 분석에 매우 효과적이었으며, 다양한 네트워크 아키텍처에서 타이트한 경계와 수치적 안정성을 제공하였다.
• 이 방법은 보장된 정확성으로 강력한 레이 캐스팅, 최근접점 평가, 공간 계층 구조 생성을 가능하게 하여 근사 방법보다 신뢰성 면에서 뛰어나다.
• 기하 쿼리는 GPU에서 효율적으로 평가될 수 있어 확장성과 실시간 및 미분 가능한 응용에 적합하다.
• 역 렌더링에서의 초보적 결과는 정확한 기하 피드백이 필요한 최적화 파이프라인에서의 응용 잠재력을 보여준다.