[논문 리뷰] Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes

Towaki Takikawa, Joey Litalien외 7명|arXiv (Cornell University)|2021. 01. 26.

3D Shape Modeling and Analysis참고 문헌 41인용 수 33

한 줄 요약

Neural Geometric Level of Detail (NGLoD)를 소개하는 희박한 옥트리 기반의 신경 SDF 표현으로, 작은 MLP 디코더를 사용하여 연속적인 LOD와 높은 재구성 품질을 실시간 렌더링 가능하게 한다.

ABSTRACT

Neural signed distance functions (SDFs) are emerging as an effective representation for 3D shapes. State-of-the-art methods typically encode the SDF with a large, fixed-size neural network to approximate complex shapes with implicit surfaces. Rendering with these large networks is, however, computationally expensive since it requires many forward passes through the network for every pixel, making these representations impractical for real-time graphics. We introduce an efficient neural representation that, for the first time, enables real-time rendering of high-fidelity neural SDFs, while achieving state-of-the-art geometry reconstruction quality. We represent implicit surfaces using an octree-based feature volume which adaptively fits shapes with multiple discrete levels of detail (LODs), and enables continuous LOD with SDF interpolation. We further develop an efficient algorithm to directly render our novel neural SDF representation in real-time by querying only the necessary LODs with sparse octree traversal. We show that our representation is 2-3 orders of magnitude more efficient in terms of rendering speed compared to previous works. Furthermore, it produces state-of-the-art reconstruction quality for complex shapes under both 3D geometric and 2D image-space metrics.

연구 동기 및 목표

• 실시간 렌더링을 위해 가변 세부 정보를 지원하는 빠르고 확장 가능한 신경 암시표면의 필요성을 동기화한다.
• 다중 수준의 세부 정보를 지원하기 위해 SVO 기반의 희소 보셀 옥트리(SVO) 신경 SDF 표현을 제안한다.
• 실시간 성능을 위해 필요한 LOD만 쿼리하는 효율적인 렌더링 파이프라인(구체적으로 구면 추적)을 개발한다.
• 다중 LOD에서 모든 이산 LOD를 함께 최적화하여 스케일 간 기하 품질의 일관성을 확보하는 setup을 학습한다.
• 제안된 방법이 기존 신경 암시적 방법들(DeepSDF, NSVF, NeRF 기반 방법들 등)에 비해 최첨단 재구성 품질과 현저한 속도 향상을 보여준다.

제안 방법

• 암시 표면을 voxel 모서리에 학습 가능한 특징 벡터를 저장하는 SVO로 표현한다.
• 각 LOD에 대해 작은 MLP 디코더 f_theta_L를 사용하여 연결된 보간 특징과 위치를 부호 거리로 매핑한다.
• Voxel 모서리를 가로질러 삼중선 보간으로 각 LOD의 특징을 계산하고 LOD들 간에 합산하여 z(x;L,Z)를 얻는다.
• 이산 LOD를 블렌딩하여 predicted 거리와 보간인 계수 alpha를 사용해 연속 LOD를 얻는다.
• 모든 LOD 디코더와 특징들을 서로 다른 LOD 합 손실(J = E_x,d sum_L ||f_theta_L([x,z(x;L,Z)]) - d||^2)을 합산하는 다중-LOD 손실로 함께 학습한다.
• 렌더링은 광선-오크트리 교차점과 적응 보폭을 사용하는 맞춤형 구면 추적 알고리즘으로 수행하여 점유된 보셀만 순회한다.

실험 결과

연구 질문

• RQ1 신경 SDF를 여러 수준의 디테일에서 고정밀도의 기하를 유지하면서 실시간으로 렌더링할 수 있는가?
• RQ2 소형 디코더를 갖춘 SVO 기반의 다중 LOD 아키텍처가 고정 크기의 대형 네트워크보다 속도-정확도 트레이드오프에서 더 나은 성능을 보이는가?
• RQ3 연속 LOD 블렌딩이 아티팩트나 불안정성을 초래하지 않으면서 신경 암시 표면에 대해 가능하는가?
• RQ4 다 LOD 간의 공동 학습이 새로운 형태에 일반화되고 효율적인 렌더링과 압축을 지원하는가?
• RQ5 제안된 접근 방식의 성능 및 품질 이점은 기존 신경 암시적 방법들(예: DeepSDF, NSVF, NeRF 기반 방법들)과 비교하여 어떤가?

주요 결과

• 이 접근법은 유사한 설정에서 기존 연구들에 비해 2–3배의 속도 향상을 보이며 실시간으로 복잡한 신경 SDF를 렌더링한다.
• ShapeNet, Thingi32, TurboSquid에서 다수의 메트릭과 데이터셋에 대해 최첨단 재구성 품질을 달성한다.
• 작은 MLP 디코더와 SVO 특징 볼륨을 사용하는 LOD를 통해 추론 비용을 낮추면서도 높은 충실도를 유지한다(거리 쿼리당 고정 약 4,737 파라미터).
• 연속 LOD 블렌딩은 SDF를 위한 이산 옥트리 레벨 간의 매끄러운 전이를 제공한다.
• 한 가지 학습 예시로부터의 형태 간 일반화가 가능하며, 특정 형상에 과적합된 baselines보다 일반화 작업에서 더 잘 작동할 수 있다.
• 실험은 여러 해상도에서 빠른 수렴과 더 나은 렌더링 프레임레이트를 보였으며, 낮은 LOD에서 상당한 메모리 효율을 확인했다.