[논문 리뷰] Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Kerui Ren, Lihan Jiang외 5명|arXiv (Cornell University)|2024. 03. 26.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

Octree-GS는 다양한 시점 거리에서 일관된 실시간 렲영을 가능하게 하는 계층적 옥트리 기반 앵커 포인트를 사용하는 LOD-구조 3D 가우시안 스플래터링 프레임워크를 제안한다. 시점 거리와 장면의 복잡도에 따라 다중 해상도 가우시안을 동적으로 선택함으로써, MatrixCity와 같은 대규모이고 세밀한 디테일을 가진 장면에서도 30 FPS 이상의 안정적인 성능을 달성하며, Mip-Splatting 및 Scaffold-GS와 같은 최신 기술들보다 시각적 품질과 렌더링 일관성 면에서 뛰어나다.

ABSTRACT

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.

연구 동기 및 목표

• 확대된 시점 이동 경로 중 대규모이고 세밀한 디테일을 가진 장면에서 3D 가우시안 스플래터링(3D-GS)의 성능 변동성과 시각적 품질 저하 문제를 해결한다.
• 시점 프러스텀 기반 선택 방식의 한계를 극복하여, 불필요한 계산과 낮은 수준의 디테일 적응성 문제를 해결한다.
• 레벨 of 디테일(LOD) 인식이 가능한 다중 해상도 옥트리 구조를 도입하여 3D 가우시안을 조직화함으로써 렌더링 성능을 향상시킨다.
• 추론 중 동적 LOD 선택을 통해 가우시안 수를 늘리지 않으면서도 성능과 정밀도의 균형을 유지한다.
• 점진적 훈련과 LOD 바이어스 메커니즘을 통해 원거리 및 고주파 디테일 영역의 렌더링 품질을 향상시킨다.

제안 방법

• 각 노드가 다중 해상도 앵커 포인트로 기능하는 계층적 옥트리 데이터 구조를 사용하여 3D 가우시안을 구성한다.
• 시점 거리와 장면의 디테일 농도에 따라 적절한 LOD 수준을 동적으로 선택하여, 먼 거리나 시야에 잘 드러나지 않는 기능의 중복 렌더링을 줄인다.
• 더 낮은 수준에서 더 높은 수준으로 가우시안을 전파할 수 있는 다음 단계 성장 연산자(next-level grow operator)를 도입하여 수준 간 상호작용과 더 나은 디테일 포착을 가능하게 한다.
• 원거리 시점에서 고주파 디테일을 우선시하는 LOD 바이어스 메커니즘을 적용하여 시각적 잡음과 가장자리 흐림 현상을 감소시킨다.
• 더 낮은 수준(L2 또는 L4 등)에서 시작하는 점진적 훈련을 통해 최적화의 안정성을 확보하고 수준 간 겹침을 방지한다.
• 옥트리 기반 가우시안을 Scaffold-GS 프레임워크에 통합하여, 시점 적응형이고 미분 가능한 렌더링 파이프라인을 유지한다.

실험 결과

연구 질문

• RQ1 계층적이고 LOD 인식 가능한 3D 가우시안 표현은 대규모 장면에서 다양한 시점 거리에서 일관된 렌더링 성능을 향상시킬 수 있는가?
• RQ2 시점 거리 기반 동적 LOD 선택이 고정된 시점 프러스텀 선택 방식에 비해 성능과 시각적 품질에 어떤 영향을 미치는가?
• RQ3 거칠은 수준에서 시작하는 점진적 훈련이 가우시안의 장면 기하학적 정렬과 잡음 감소에 얼마나 기여하는가?
• RQ4 옥트리 기반 앵커 구조는 다중 해상도 가우시안을 효과적으로 관리하면서도 실시간 렌더링 속도를 유지할 수 있는가?
• RQ5 제안된 LOD 바이어스 메커니즘은 원거리 시점에서 가장자리의 선명도와 디테일 유지에 어떤 기여를 하는가?

주요 결과

• Octree-GS는 MatrixCity 데이터셋에서 모든 확대 이동 경로에서 30 FPS 이상의 일관된 실시간 렌더링을 달성하며, Mip-Splatting 및 Scaffold-GS는 거리가 멀어질수록 30 FPS 이하로 떨어지는 반면 이는 성능 저하를 야기한다.
• Model은 MatrixCity 데이터셋에서 PSNR 31.05와 LPIPS 0.055를 기록하여, 두 지표에서 최신 기술 기준보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 다음 단계 성장 연산자의 추가로 PSNR는 0.47점(28.78 → 29.25) 상승하고 LPIPS는 0.025 감소하여 더 나은 디테일 포착 능력을 입증했다.
• LOD 바이어스를 통합하면 기준 모델 대비 PSNR는 0.21점 상승하고 LPIPS는 0.002 감소하여 원거리 시점에서 가장자리 선명도 향상이著명하게 향상됨을 확인했다.
• L2 또는 L4 수준에서 시작하는 점진적 훈련은 거친 수준의 렌더링 정확도를 향상시키며, M7 (초기화 @4)는 PSNR 29.50, LPIPS 0.177을 기록하여 비점진적 변형보다 더 높은 정밀도를 확보했다.
• 모든 구성 요소를 포함한 전체 모델은 PSNR 31.05와 LPIPS 0.055를 기록하여, 옥트리 구조, LOD 바이어스, 점진적 훈련의 조합이 최적의 성능을 낳음을 입증했다.