[논문 리뷰] Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting

Ziyi Yang, Xinyu Gao외 7명|arXiv (Cornell University)|2024. 02. 24.

Industrial Vision Systems and Defect Detection인용 수 7

한 줄 요약

Spec-Gaussian은 각 3D 가우시안에 대해 저주파 구면 조화를 이방성 구면 가우시안 appearance field로 대체하고, anchor 기반 희소화 및 거친-대-정밀 학습 전략과 함께 반사 및 이방성 표면을 더 잘 모델링하면서 실시간 렌더링을 유지합니다.

ABSTRACT

The recent advancements in 3D Gaussian splatting (3D-GS) have not only facilitated real-time rendering through modern GPU rasterization pipelines but have also attained state-of-the-art rendering quality. Nevertheless, despite its exceptional rendering quality and performance on standard datasets, 3D-GS frequently encounters difficulties in accurately modeling specular and anisotropic components. This issue stems from the limited ability of spherical harmonics (SH) to represent high-frequency information. To overcome this challenge, we introduce Spec-Gaussian, an approach that utilizes an anisotropic spherical Gaussian (ASG) appearance field instead of SH for modeling the view-dependent appearance of each 3D Gaussian. Additionally, we have developed a coarse-to-fine training strategy to improve learning efficiency and eliminate floaters caused by overfitting in real-world scenes. Our experimental results demonstrate that our method surpasses existing approaches in terms of rendering quality. Thanks to ASG, we have significantly improved the ability of 3D-GS to model scenes with specular and anisotropic components without increasing the number of 3D Gaussians. This improvement extends the applicability of 3D GS to handle intricate scenarios with specular and anisotropic surfaces. Project page is https://ingra14m.github.io/Spec-Gaussian-website/.

연구 동기 및 목표

• 레거시 3D Gaussian Splatting(3D-GS)을 넘어 스펙큘러 및 이방성 성분이 있는 장면 렌더링의 개선을 촉진한다.
• 고주파 시야 의존 효과를 포착하는 새로운 appearance 모델 기반 ASG를 제안한다.
• anchor 기반 하이브리드 가우시안 표현을 통해 저장 공간을 줄이고 학습/렌더링 속도를 향상시킨다.
• 현실 세계 장면에서 플로터(floaters)와 과적합을 완화하기 위해 거친-대-정밀 학습 전략을 적용한다.]
• method:[

제안 방법

• 3D-GS의 SH 기반 시야 의존적 외관을 이방성 구면 가우시안(ASG) appearance field로 대체한다.
• 각 가우시안별 로컬 특징을 이용한 소형 MLP를 통해 ASG 매개변수를 예측한다.
• 확산 색과 스펙큘러 색을 분리한다; 확산 색은 SH 기반 모델링을 사용하고 스펙큘러는 ASG와 최종 색상을 위한 작은 MLP Ψ를 사용한다.
• 신경 가우시안의 생성을 안내하기 위해 anchor Gaussians를 도입하여 저장 공간을 줄이고 렌더링 효율을 높인다.
• 현실 세계 장면에서 floaters를 줄이고 학습 효율을 향상시키기 위해 거친-대-정밀 학습 스케줄을 구현한다.

실험 결과

연구 질문

• RQ1 실시간 렌더링 속도를 희생하지 않으면서 ASG 기반 appearance 필드가 3D Gaussian Splatting에서 스펙큘러 하이라이트와 이방성을 더 잘 모델링할 수 있는가?
• RQ2 anchor 기반 희소화 스킴이 ASG 표현력을 가능하게 하면서 기하 정보를 보존하고 저장 공간을 줄이는가?
• RQ3 거친-대-정밀 학습 체계가 현실 세계 데이터에서 floaters를 줄이고 새로운 시점에 대한 일반화를 향상시키는가?
• RQ4 제안된 방법이 합성 및 실제 데이터 세트에서 최첨단 3D-GS, NeRF 기반 및 관련 포인트 기반 방법과 어떻게 비교되는가?

주요 결과

• 현실 세계 및 합성 데이터 세트에서 특히 스펙큘러 하이라이트와 이방성 표면 모델링에서 최첨단 렌더링 품질을 달성한다.
• ASG appearance field가 피처 분리(MLP)와 함께 SH 기반 외관에 비해 이방성/스펙큘러 렌더링을 크게 향상시킨다.
• Anchor 기반 Gaussian splatting은 저장 공간을 줄이고 학습/렌더링을 가속화하면서도 높은 품질을 유지한다.
• 거친-대-정밀 학습은 실제 시나리오에서 floaters를 크게 감소시키고 학습 효율을 향상시킨다.
• 본 방법은 경계가 있는/없는 장면에서 FPS와 메모리 예산에 맞춰 PSNR/SSIM/LPIPS 성능을 균형 있게 달성한다.