[논문 리뷰] PermutoSDF: Fast Multi-View Reconstruction with Implicit Surfaces using Permutohedral Lattices

Radu Alexandru Roşu, Sven Behnke|arXiv (Cornell University)|2022. 11. 22.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 PermutoSDF를 제안하며, 해시 기반 인코딩과 허용된 부호 거리 함수(SDF)를 조합하여 고차원 특징 보간을 효율적으로 수행하는 빠르고 세밀한 다중 시점 재구성 방법을 제공한다. 허용된 퍼머투헤드럴 격자를 사용함으로써 고차원 특징 공간에서의 빠른 보간을 실현하였으며, RTX 3090에서 실시간 30 fps의 새로운 시점 렌더링을 달성하고, 단지 RGB 이미지만을 사용하여 구멍과 주름과 같은 세밀한 기하학적 디테일을 복원한다. 이는 기존 방법에 비해 기하학적 정확도와 학습 속도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Neural radiance-density field methods have become increasingly popular for the task of novel-view rendering. Their recent extension to hash-based positional encoding ensures fast training and inference with visually pleasing results. However, density-based methods struggle with recovering accurate surface geometry. Hybrid methods alleviate this issue by optimizing the density based on an underlying SDF. However, current SDF methods are overly smooth and miss fine geometric details. In this work, we combine the strengths of these two lines of work in a novel hash-based implicit surface representation. We propose improvements to the two areas by replacing the voxel hash encoding with a permutohedral lattice which optimizes faster, especially for higher dimensions. We additionally propose a regularization scheme which is crucial for recovering high-frequency geometric detail. We evaluate our method on multiple datasets and show that we can recover geometric detail at the level of pores and wrinkles while using only RGB images for supervision. Furthermore, using sphere tracing we can render novel views at 30 fps on an RTX 3090. Code is publicly available at: https://radualexandru.github.io/permuto_sdf

연구 동기 및 목표

• 반사성 또는 무문자 영역에서 밀도 기반 NeRF 방법의 표면 기하학 복원 능력에 한계가 있음을 해결하기 위해.
• 기존 SDF 기반 방법에서 발생하는 과도한 부드러움 문제를 해결하여, 구멍과 주름과 같은 고주파 기하학적 디테일을 유지할 수 있도록 하기 위해.
• 바이트 해싱을 허용된 퍼머투헤드럴 격자로 대체하여 신경 은닉 표면 표현의 학습 및 추론 속도를 가속화하기 위해.
• 세밀한 기하학적 디테일을 유지하면서도 필요한 곳에서는 표면의 부드러움을 유지하는 정규화 기법을 개발하기 위해.
• 시간에 따라 변화하는 표면을 효율적으로 모델링하기 위해 격자를 고차원으로 확장하여 4D 시공간 표면 모델링을 가능하게 하기 위해.

제안 방법

• INGP에서 사용하는 바이트 해싱 인코딩을 허용된 퍼머투헤드럴 격자로 대체하여, 차원 수에 따라 선형적으로 확장되며 고차원 특징 공간에서의 보간 속도를 향상시킨다.
• 허용된 퍼머투헤드럴 격자 내에서 해시 기반 특징 검색을 활용해 쿼리 포인트에서의 보간된 특징을 효율적으로 계산함으로써 계산 오버헤드를 감소시킨다.
• 장면을 신경 SDF와 색상 필드로 표현하며, 둘 다 허용된 퍼머투헤드럴 격자를 통해 인코딩하고, 얕은 MLP를 통해 볼륨 렌더링을 위한 디코딩을 수행한다.
• 다중 구성 요소 정규화 기법을 도입: 구형 초기화, 군집에서 세밀한 최적화, 곡률 손실, RGB 기반 리프시츠 정규화로 세밀한 디테일을 유지한다.
• 렌더링을 위해 편향 없는 볼륨 통합을 사용하고, 실시간 추론을 위해 구형 추적을 적용하여 소비자 하드웨어에서 30 fps를 달성한다.
• 격자를 고차원으로 확장하여 4D로 확장함으로써 시간에 따라 변화하는 표면을 인코딩하고, 방향이 부여된 점 샘플에서 4D 표면 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 허용된 퍼머투헤드럴 격자 기반 인코딩이 3D 이상의 고차원에서 학습 및 추론 속도 측면에서 바이트 해싱을 능가할 수 있는가?
• RQ2 새로운 정규화 기법이 과도한 부드러움을 방지하면서도 고주파 기하학적 디테일인 구멍과 주름을 복원할 수 있는가?
• RQ3 해시 기반 인코딩을 사용하는 신경 은닉 SDF가 명시적 감독 없이 오직 RGB 이미지에서 정확한 기하학적 구조를 복원할 수 있는가?
• RQ4 해법은 시간에 따라 변화하는 표면을 4D에서 효율적으로 모델링할 수 있으며, 격자 구조는 이러한 확장에 어떻게 기여하는가?
• RQ5 SDF와 해시 인코딩의 조합이 기존의 하이브리드 밀도-SDF 또는 점유도 기반 방법에 비해 기하학적 정확도와 디테일 복원 측면에서 어떻게 우월한가?

주요 결과

• 허용된 퍼머투헤드럴 격자는 3D 이상의 고차원에서 학습 및 추론 모두에서 큐브형 바이트 해싱을 능가하며, 특히 차원 수가 증가할수록 선형 스케일링 덕분에 성능 격차가 더욱 커진다.
• Multiface 데이터셋에서 PermutoSDF는 PSNR 34.92를 기록하여 NeuS(33.49)를 능가하며, 더 뛰어난 디테일 복원과 영상 품질을 입증한다.
• 제거 실험을 통해 RGB 정규화가 리프시츠 손실을 통한 것이 세밀한 기하학적 디테일 복원에 필수적임을 확인하였으며, 모든 설정 중에서 체이밍 거리가 가장 낮아졌다.
• 해법은 4D로 변화하는 표면을 성공적으로 학습하여 시간 차원을 스윕함으로써 중간 단계의 형태를 시각화할 수 있게 하였다.
• 시스템은 RTX 3090에서 약 30분 내로 학습이 완료되며, 구형 추적을 사용해 30 fps로 새로운 시점 렌더링을 수행하여 실시간 추론을 가능하게 하였다.
• 완전히 校정된 가상 카메라를 사용한 시뮬레이션 상한 실험에서 PermutoSDF는 이전의 학습 기반 볼륨 방법이 포착하지 못한 구멍과 주름을 복원하였다.