[논문 리뷰] Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering

Zhiwen Yan, Weng Fei Low외 2명|arXiv (Cornell University)|2023. 11. 28.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 저해상도 또는 원거리 뷰 렌더링에서 발생하는 앨리어싱과 렌더링 속도 저하 문제를 해결하기 위해 다중 척도 3D 가우시안 스플래터링을 제안한다. 여러 척도에서 가우시안을 유지하고 적절한 디테일 수준을 선택적으로 렌더링함으로써, Mip-NeRF360에서 4×–128× 해상도 범위에서 PSNR 향상 13%–66%와 렌더링 속도 향상 160%–2400%를 달성하였으며, 추가 가우시안은 5% 미만, 학습 시간은 유사하게 유지된다.

ABSTRACT

3D Gaussians have recently emerged as a highly efficient representation for 3D reconstruction and rendering. Despite its high rendering quality and speed at high resolutions, they both deteriorate drastically when rendered at lower resolutions or from far away camera position. During low resolution or far away rendering, the pixel size of the image can fall below the Nyquist frequency compared to the screen size of each splatted 3D Gaussian and leads to aliasing effect. The rendering is also drastically slowed down by the sequential alpha blending of more splatted Gaussians per pixel. To address these issues, we propose a multi-scale 3D Gaussian splatting algorithm, which maintains Gaussians at different scales to represent the same scene. Higher-resolution images are rendered with more small Gaussians, and lower-resolution images are rendered with fewer larger Gaussians. With similar training time, our algorithm can achieve 13\%-66\% PSNR and 160\%-2400\% rendering speed improvement at 4$ imes$-128$ imes$ scale rendering on Mip-NeRF360 dataset compared to the single scale 3D Gaussian splitting. Our code and more results are available on our project website https://jokeryan.github.io/projects/ms-gs/

연구 동기 및 목표

• 저해상도 또는 원거리 카메라 위치에서 3D 가우시안 스플래터링을 렌더링할 때 심한 앨리어싱과 성능 저하 문제를 해결한다.
• 단일 척도 가우시안의 한계를 극복한다. 이는 저해상도에서 과도한 샘플링 부족으로 인한 앨리어싱과 지나친 알파 블렌딩으로 인한 느린 렌더링을 유발하기 때문이다.
• 학습 시간이나 메모리 사용량을 크게 증가시키지 않으면서도 여러 해상도 척도에서 효율적이고 고품질의 렌더링을 가능하게 한다.
• 1× 해상도에서 고정밀도 렌더링을 유지하면서도 저해상도에서 성능과 품질을 크게 향상시킨다.
• 컴퓨터 그래픽스의 미ipmap 및 LOD 기법을 영감으로 삼아 확장 가능하고 선택적 렌더링 전략을 도입한다.

제안 방법

• 학습 중에 더 세밀한 가우시안을 융합하여 더粗略한 가우시안으로 묶어 다중 척도의 가우시안을 사전에 계산하고 저장한다.
• 크기 기반 임계값 기반 메커니즘을 사용하여 볼록체 내의 작은 가우시안을 식별하고, 이를 더 큰 더粗略한 가우시안으로 통합하여 저해상도 렌더링에 사용한다.
• 렌더링 중에 픽셀 커버리지에 따라 가우시안을 동적으로 선택한다: 고해상도 출력에는 더 세밀한 가우시안을, 저해상도 출력에는 더 거친 가우시안을 사용한다.
• 해당 해상도의 픽셀 커버리지와 일치하는 스크린 스페이스 크기의 가우시안만 활성화하여 선택적 렌더링을 구현한다.
• 기존의 3D 가우시안 스플래터링 파이프라인을 최소한의 수정으로 활용하며, 추가로 수백에서 수천 개의 가우시안만 추가한다.
• 단일 척도 3D 가우시안 스플래터링과 동일한 최적화 루프와 데이터 파이프라인을 재사용함으로써 학습 시간을 일관되게 유지한다.

실험 결과

연구 질문

• RQ1 다중 척도 3D 가우시안은 단일 척도 3D 가우시안 스플래터링 대비 저해상도 및 원거리 뷰 렌더링에서 앨리어싱 아티팩트를 줄일 수 있는가?
• RQ2 척도 적응형 가우시안을 사용한 선택적 렌더링은 품질을 희생시키지 않고 저해상도에서 렌더링 속도를 향상시킬 수 있는가?
• RQ3 최소한의 추가 파rameter와 학습 비용으로 성능 향상의 정도는 어느 정도인가?
• RQ4 PSNR, LPIPS, 렌더링 시간 측면에서 다양한 데이터셋과 해상도 수준(예: 4×에서 128×) 간에 이 방법의 확장성은 어떠한가?
• RQ5 1× 해상도에서 고정밀도 렌더링을 유지하면서도 저해상도에서 성능을 크게 향상시킬 수 있는가?

주요 결과

• Mip-NeRF360 데이터셋에서, 이 방법은 단일 척도 3D 가우시안 스플래터링 대비 4×에서 128× 해상도 범위에서 PSNR 향상 13%–66%를 달성한다.
• 128× 해상도에서 렌더링 속도가 160%–2400% 향상되었으며, 기하학적 복잡도가 높은 시점에서 가장 큰 성과를 보였다.
• 1× 해상도에서 PSNR와 LPIPS가 유사하게 유지되어 고해상도 품질에 변화가 없음을 확인했다.
• 추가 가우시안 수는 원래 세트의 5% 미만이며, 학습 시간에 유의미한 증가가 없었다.
• 작은 가우시안의 과다 스플래터링을 줄임으로써 저해상도 픽셀에서 앨리어싱을 효과적으로 완화하였다.
• Tanks and Temples 및 Deep Blending 데이터셋에서도 모든 테스트 척도에서 PSNR 향상과 렌더링 시간 감소가 일관되게 관찰되었다.