[논문 리뷰] Point-NeRF: Point-based Neural Radiance Fields

Qiangeng Xu, Zexiang Xu외 5명|arXiv (Cornell University)|2022. 01. 21.

Computer Graphics and Visualization Techniques인용 수 10

한 줄 요약

Point-NeRF는 신경적 특징을 갖춘 학습 가능한 3차원 점 클러스터를 사용하여 빠르고 고품질의 새로운 시점 합성 가능성을 제공하는 점 기반 신경 렌더링 장치 표현을 제안한다. 사전 훈련된 딥 네트워크에서 초기화하고 적응형 점 증식 및 제거를 적용하여 각 씬에 대한 미세조정을 수행함으로써, 표준 NeRF보다 30배 빠른 20~40분 내에 NeRF 수준의 품질을 달성한다. 이는 다른 복구 방법에서 유도된 노이즈가 많거나 완전하지 않은 점 클러스터에도 강건하다.

ABSTRACT

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.

연구 동기 및 목표

• NeRF의 금방이 긴 훈련 시간 문제를 해결하기 위해 더 효율적인 렌더링 장치 표현을 도입하기 위해.
• 빠른 기하 구조 초기화를 위한 딥 다중시점 스테레오(MVS)와 고품질 렌더링을 위한 신경 렌더링 장치의 장점을 융합하기 위해.
• 구멍이나 이방성 요소가 포함된 점 클러스터를 포함한 어떤 점 클러스터에서라도 렌더링 장치를 초기화하고 최적화할 수 있는 일반적인 프레임워크를 개발하기 위해.
• 각 씬 최적화 중에 새로운 점 증식 및 제거 메커니즘을 도입하여 렌더링 품질과 강건성을 향상시키기 위해.

제안 방법

• 각 점이 학습 가능한 신경적 특징을 통해 국소 3차원 기하 구조와 외관을 인코딩하는 신경적 점 클러스터로 장면를 표현하기.
• 3D MLP를 사용해 인접한 신경적 점들을 집계하고, 임의의 3차원 위치에서 부피 밀도와 시점 의존적 반사도를 예측함으로써, 미분 가능한 레이 마칭을 가능하게 하기.
• 입력 이미지에서 깊이와 2D 특징을 예측하는 딥 네트워크의 엔드 투 엔드 훈련을 통해 점 기반 렌더링 장치를 초기화하고, 이를 3D로 투영하기.
• 두 단계 최적화를 적용: 일반화를 위한 초기 엔드 투 엔드 훈련, 그리고 새로운 점 증식 및 제거 메커니즘을 포함한 각 씬에 대한 미세조정.
• 부피 렌더링 중 기하적 추론을 도입하여 고밀도 영역의 경계 근처에 새로운 점을 증식하고, 저밀도 영역의 점을 제거하기.
• 사전 훈련된 MVS 네트워크(예: 커스터 밸류 네트워크)와 CNN을 활용하여 초기 점 클러스터와 특징을 생성함으로써, 기반 추론 기반 초기화를 가능하게 하기.

(a) Neural Point Generation.

실험 결과

연구 질문

• RQ1 표준 NeRF에 비해 훨씬 빠른 훈련 시간을 달성하면서도 높은 정밀도의 새로운 시점 합성을 위한 점 기반 신경 렌더링 장치 표현이 가능한가?
• RQ2 사전 훈련된 딥 네트워크를 사용해 직접 신경적 점 클러스터 초기화를 추론함으로써 각 씬 최적화를 빠르게 수행할 수 있는가?
• RQ3 제안된 점 증식 및 제거 메커니즘이 낮은 품질이나 불완전한 점 클러스터에서 출발할 경우 렌더링 품질 향상에 얼마나 효과적인가?
• RQ4 Point-NeRF는 다양한 데이터셋에 일반화되어 있으며, 기존의 NeRF 및 기타 신경 렌더링 장치 모델보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• Point-NeRF는 DTU, NeRF Synthetic, Tanks and Temples, ScanNet 데이터셋에서 최첨단의 새로운 시점 합성 성능을 달성한다.
• 각 씬 최적화에 단 20~40분이면 충분하며, NeRF가 20시간 이상 훈련이 필요한 것에 비해 30배 빠른 속도를 기록한다.
• NeRF Synthetic 데이터셋에서 20,000 스텝 훈련을 거친 Point-NeRF는 NeRF 수준의 품질을 달성하지만, 시간은 30배 적게 소요되며, Hotdog 시나리오에서 PSNR 30.97, SSIM 0.942를 기록한다.
• 구멍과 노이즈가 있는 COLMAP 점 클러스터에서 초기화된 경우에도 Point-NeRF는 높은 품질의 결과를 내보내며, 200,000개의 최적화 스텝 후 Ship 시나리오에서 PSNR 30.18, SSIM 0.941을 기록한다.
• 점 증식 및 제거 메커니즘이 재구성 품질을 크게 향상시킨다: Hotdog 시나리오에서 COLMAP 점을 사용할 경우, PSNR는 29.91에서 35.49로, SSIM은 0.978에서 0.986로 향상된다.
• 이 방법은 미세한 디테일과 얇은 구조(예: 밧줄)를 성공적으로 복원하고 큰 기하학적 구멍을 메우며, 희박하고 불완전한 점 클러스터에서의 정성적 비교를 통해 이를 입증한다.

(b) Point-NeRF Representation with Volume Rendering.