[논문 리뷰] NPBG++: Accelerating Neural Point-Based Graphics

Ruslan Rakhimov, Andrei-Timotei Ardelean외 2명|arXiv (Cornell University)|2022. 03. 24.

Advanced Vision and Imaging인용 수 4

한 줄 요약

NPBG++는 입력 이미지 한 번의 순방향 전파를 통해 3D 포인트 클라우드의 시점 의존성 신경 기술자(Descriptor)를 예측함으로써, 각 씬 최적화를 제거하고 신규 시점 합성 속도를 높인다. 이로 인해 고화질 이미지를 실시간으로 렲영할 수 있으며, 기존 방법보다 적합성 및 렌더링 속도에서 뛰어나면서도 경쟁 수준의 시각적 품질을 유지를 한다 (DTU 스캔에서 LPIPS ↓ 0.154).

ABSTRACT

We present a new system (NPBG++) for the novel view synthesis (NVS) task that achieves high rendering realism with low scene fitting time. Our method efficiently leverages the multiview observations and the point cloud of a static scene to predict a neural descriptor for each point, improving upon the pipeline of Neural Point-Based Graphics in several important ways. By predicting the descriptors with a single pass through the source images, we lift the requirement of per-scene optimization while also making the neural descriptors view-dependent and more suitable for scenes with strong non-Lambertian effects. In our comparisons, the proposed system outperforms previous NVS approaches in terms of fitting and rendering runtimes while producing images of similar quality.

연구 동기 및 목표

• 각 씬 최적화가 필요한 기존 신경 포인트 기반 그래픽스 방법의 긴 적합 시간 문제를 해결한다.
• 희소 입력 이미지와 포인트 클라우드로부터 고화질 신규 시점 렌더링을 실시간으로 가능하게 한다.
• 시점 의존성 신경 기술자를 도입하여 비-Lambertian 표면의 렌더링 품질을 향상시킨다.
• 희소 포인트 클라우드, 노이즈, 제한된 입력 시점 등의 기하학적 불완전성에 대한 민감도를 감소시킨다.
• 경량 2D 정렬 단계를 통해 렌더링 파이프라인에서 회전 등장성(_rotational equivariance_)을 확보한다.

제안 방법

• 모든 소스 이미지에 대한 단일 순방향 전파를 통해 각 3D 포인트의 신경 기술자를 예측함으로써, 각 씬 최적화를 회피한다.
• 상수 메모리로 온라인 선형 회귀를 활용하여, 다수의 시점에서 온라인 및 순열 불변성 있는 집합 방법을 적용하여 특징을 융합한다.
• 각 포인트의 기술자에 대해 기저 함수 계수(예: m=6인 MLP)를 학습하여 시점 의존성 외관을 모델링한다.
• 입력 이미지와 출력 렌더링에 대해 각각 두 개의 경량 2D 정렬 단계를 도입하여, 평면 내 회전 오차를 보정한다.
• 학습된 기술자를 사용하는 다중 해상도 래스터라이제이션을 수행하는 U-Net 기반 렌더러를 사용한다.
• 구면 조화 함수와 MLP 기반 기저 함수를 기술자 표현에 적용하였으며, 분석 결과 m=6인 MLP가 최고의 성능을 보였다.

실험 결과

연구 질문

• RQ1 각 씬 최적화 없이도 고품질 렌더링을 유지하면서 신경 포인트 기반 그래픽스에서 이를 제거할 수 있는가?
• RQ2 적합 시간을 증가시키지 않고도 포인트 기반 신경 렌더링에서 시점 의존성 외관을 효율적으로 모델링할 수 있는가?
• RQ3 입력 및 출력 이미지 정렬이 신경 포인트 기반 렌더링 파이프라인 성능에 얼마나 기여하는가?
• RQ4 희소 포인트 클라우드, 노이즈, 제한된 입력 시점 등의 기하학적 불완전성에 대해 시스템은 얼마나 견고한가?
• RQ5 경량 2D 정렬 단계가 기술자 기반 렌더링에서 회전 등장성을 효과적으로 복원할 수 있는가?

주요 결과

• NPBG++는 'hotdog' 씬에서 이미지 렌더링 시간(적합 + 렌더링)을 1.2초로 단축하여, NPBG 및 IBRNet보다 빠르게 성능을 냈다.
• 입력 및 출력 이미지 정렬을 모두 적용한 NPBG++는 DTU 스캔에서 LPIPS ↓ 0.154를 기록하였으며, 정렬된 NPBG(LPIPS ↓ 0.125)보다 우수한 성능을 보였다.
• m=6 기저 함수를 가진 MLP 기반 집합 방법이 최고의 성능을 보였으며, ScanNet 스캔에서 PSNR ↑ 23.11, SSIM ↑ 0.766, LPIPS ↓ 0.501의 결과를 기록했다.
• 기하학적 불완전성 조건에서도 시스템은 유연한 성능 저하를 보였으며, 포인트 클라우드의 50% 희소성 조건에서도 80% 이상의 채워진 픽셀을 유지했고, 노이즈 및 소수의 시점 조건에서도 견고하게 작동했다.
• 분석 결과, 입력 또는 출력 정렬을 별도로 사용할 경우 성능 저하가 발생하여, 분포 정렬을 위해 둘 다 필요함을 확인했다.
• 제안된 온라인 집합 방법은 임의의 수의 시점에서부터 효율적이고 상수 메모리로 특징 융합을 가능하게 하여, 확장 가능한 시점 의존성 기술자 학습을 지원한다.