[논문 리뷰] View Synthesis with Sculpted Neural Points

Yiming Zuo, Jia Deng|arXiv (Cornell University)|2022. 05. 12.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 시각적 품질이 NeRF를 뛰어넘는 동시에 渲染 속도가 100배 빠른 새로운 포인트 기반 시각 합성 방법인 Sculpted Neural Points(SNP)을 소개한다. 초기 MVS 포인트 클라우드를 이산적 잘라내기 및 추가를 통해 정제하고, 시야 의존적 구면 조화 함수 특징 및 고유의 미분 가능 렌더링 파이프라인을 사용함으로써, 최신 기술 수준의 성능을 달성하면서도 고해상도, 고효율, 편집 가능한 새로운 시각 합성 구현이 가능하다.

ABSTRACT

We address the task of view synthesis, generating novel views of a scene given a set of images as input. In many recent works such as NeRF (Mildenhall et al., 2020), the scene geometry is parameterized using neural implicit representations (i.e., MLPs). Implicit neural representations have achieved impressive visual quality but have drawbacks in computational efficiency. In this work, we propose a new approach that performs view synthesis using point clouds. It is the first point-based method that achieves better visual quality than NeRF while being 100x faster in rendering speed. Our approach builds on existing works on differentiable point-based rendering but introduces a novel technique we call "Sculpted Neural Points (SNP)", which significantly improves the robustness to errors and holes in the reconstructed point cloud. We further propose to use view-dependent point features based on spherical harmonics to capture non-Lambertian surfaces, and new designs in the point-based rendering pipeline that further boost the performance. Finally, we show that our system supports fine-grained scene editing. Code is available at https://github.com/princeton-vl/SNP.

연구 동기 및 목표

• 시각 합성에서 NeRF와 같은 암묵적 신경 표현의 계산 비효율성과 유연성 부족 문제를 해결하기 위해.
• 재구성된 포인트 클라우드의 기하 오차와 구멍에 대한 포인트 기반 렌더링의 강건성 향상을 위해.
• NeRF를 뛰어넘는 시각적 품질을 달성하면서도 고속 렌더링을 유지하고 세밀한 시나리오 편집을 가능하게 하기 위해.
• 효율적인 최적화와 편집을 지원하는 미분 가능하고 종단 간 파이프라인을 개발하기 위해.

제안 방법

• 초기 MVS 재구성 포인트 클라우드에 대해 이산적 잘라내기 및 추가를 수행하는 Sculpted Neural Points(SNP) 기법을 도입하여 사진 일致성 향상.
• 미분 가능한 렌더링을 사용해 포인트 특징과 굴곡 결정을 동시에 최적화함으로써 기울기 기반 정밀 조정 가능.
• 비-Lambertian 재질과 조명 효과를 모델링하기 위해 고차원 구면 조화 함수를 시야 의존적 포인트 특징으로 활용.
• Dropout(Srivastava 등, 2014)를 영감으로 삼은 포인트 드롭아웃 레이어를 제안하여 새로운 시각에 대한 일반화 능력 향상.
• U-Net 백본에서 정규화 레이어 (BatchNorm/InstanceNorm)를 생략할 것을 권장하며, 이는 성능을 크게 향상시킨다.
• 비어 있는 공간에서 낭비되는 계산을 방지하는 고유의 렌더링 파이프라인을 설계하여 실시간 추론 지원.

실험 결과

연구 질문

• RQ1 포인트 기반 방법이 렌더링 속도를 크게 향상시키면서도 NeRF를 뛰어넘는 시각적 품질을 달성할 수 있는가?
• RQ2 이산적 굴곡 조작(잘라내기 및 추가)을 어떻게 미분 가능한 최적화 프레임워크에 통합하여 기하 구조의 강건성을 향상시킬 수 있는가?
• RQ3 시야 의존적 특징이 포인트 기반 렌더링에서 복잡한 조명과 비-Lambertian 표면을 포괄하는 데 어떤 역할을 하는가?
• RQ4 정규화 레이어와 드롭아웃과 같은 아키텍처 선택이 포인트 기반 시각 합성에서 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 명시적 포인트 클라우드 표현이 맞춤형 인터페이스 없이도 세밀한 사용자 우연한 시나리오 편집을 지원할 수 있는가?

주요 결과

• DTU 데이터셋에서 SNP는 NeRF(25.43 및 0.920)보다 높은 PSNR(29.62)와 SSIM(0.968)를 기록하며, 100배 빠른 렌더링 속도를 확보했다.
• NeRF-Synthetic 데이터셋에서 SNP는 PSNR 29.62 및 LPIPS 0.049를 기록하여 NeRF(25.43 및 0.111)와 Point-NeRF(28.43 및 0.023)를 모두 앞서는 주요 지표를 확보했다.
• 절단 실험 결과, U-Net에서 BatchNorm 및 InstanceNorm를 제거하면 성능 향상이 이루어지며, 완전한 모델은 DTU에서 PSNR 24.90 및 SSIM 0.851을 기록했다.
• 고비율 드롭아웃을 적용한 포인트 드롭아웃 레이어가 일반화 능력을 향상시키며, DTU에서 드롭아웃 없음 대비 PSNR 0.12 향상, 저비율 드롭아웃 대비 0.22 향상되었다.
• SNP는 NeRF 대비 학습 시간을 66% 단축시키면서도 더 높은 시각적 품질을 달성하여 효율성 향상을 입증했다.
• 포인트 클라우드 표현이 하위 객체 해상도에서의 편집을 자연스럽게 지원하므로, 표준 그래픽 도구를 통해 세밀한 시나리오 편집이 가능하다.