[논문 리뷰] GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces

Yingwenqi Jiang, Jiadong Tu외 5명|arXiv (Cornell University)|2023. 11. 29.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

GaussianShader는 반사 표면의 고해상도 실시간 렲영을 가능하게 하기 위해 단순화된 셰이딩 함수와 기하학적 구조를 고려한 법선 추정 방법을 통합한 새로운 3D 가우시안 스플래터링 프레임워크를 제안한다. 구면 조화함수를 사용해 확산 색상, 직접 반사 및 잔여 간접 조명을 모델링하고, 가장 짧은 축 기반 법선 정규화를 통해 성능을 향상시켰다. 이로 인해 반사 데이터셋에서 기존 가우시안 스플래터링 대비 PSNR가 1.57dB 향상되었으며, 실시간 추론를 유지하면서 최적화 시간을 0.58시간으로 단축하여 이전의 반사 렌더링 방법보다 크게 빠르게 개선되었다.

ABSTRACT

The advent of neural 3D Gaussians has recently brought about a revolution in the field of neural rendering, facilitating the generation of high-quality renderings at real-time speeds. However, the explicit and discrete representation encounters challenges when applied to scenes featuring reflective surfaces. In this paper, we present GaussianShader, a novel method that applies a simplified shading function on 3D Gaussians to enhance the neural rendering in scenes with reflective surfaces while preserving the training and rendering efficiency. The main challenge in applying the shading function lies in the accurate normal estimation on discrete 3D Gaussians. Specifically, we proposed a novel normal estimation framework based on the shortest axis directions of 3D Gaussians with a delicately designed loss to make the consistency between the normals and the geometries of Gaussian spheres. Experiments show that GaussianShader strikes a commendable balance between efficiency and visual quality. Our method surpasses Gaussian Splatting in PSNR on specular object datasets, exhibiting an improvement of 1.57dB. When compared to prior works handling reflective surfaces, such as Ref-NeRF, our optimization time is significantly accelerated (23h vs. 0.58h). Please click on our project website to see more results.

연구 동기 및 목표

• 3D 가우시안 스플래터링이 시점 의존적 외관 모델링 부족으로 인해 반사 및 경도 표면 렌더링에 한계를 가진다는 문제를 해결하기 위해.
• 학습 및 추론 속도를 저하시키지 않으면서도 복잡한 재질, 특히 고도로 반사적인 표면을 효율적이고 실시간으로 렌더링할 수 있도록 하기 위해.
• 정확한 셰이딩 계산을 위해 기하학적 구조와 일치하는 이산 3D 가우시안에 대한 강력한 법선 추정 프레임워크를 개발하기 위해.
• 개선된 사실감을 위해 3D 가우시안 표현에 확산, 직접, 잔여 반사 성분을 포함한 단순화된 셰이딩 모델을 통합하기 위해.

제안 방법

• 3단계 구면 조화함수를 사용해 확산 색상, 직접 반사 및 잔여 간접 조명을 모델링하는 단순화된 셰이딩 함수를 도입한다.
• 각 3D 가우시안의 가장 짧은 축 방향을 기반으로 한 새로운 법선 표현 방식을 제안하며, 정확도 향상을 위해 학습 가능한 법선 잔여항을 통합한다.
• 예측된 법선을 渲染된 깊이 맵에서 유도된 법선과 일치시키는 미분 가능한 법선-기하 일致성 손실을 적용한다.
• 엔드 투 엔드 훈련 중에 시점 의존적 조명 시뮬레이션을 위해 명시적인 환경 조명 맵을 사용한다.
• 콤���트한 3D 가우시안 분포를 유지하고 과적합을 방지하기 위해 희박한 정규화 손실을 적용한다.
• 셰이딩 모델을 3D 가우시안 스플래터링 파이프라인에 통합하여 실시간 렌더링 속도와 훈련 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 단순화된 셰이딩 함수가 효율성을 희생시키지 않고 3D 가우시안 스플래터링에 효과적으로 통합되어 반사 표면의 렌더링 품질을 향상시킬 수 있는가?
• RQ2 연속적이지 않은 3D 가우시안 구에 대해 정확한 표면 법선을 어떻게 추정할 수 있을까? 이는 신뢰할 수 있는 셰이딩 계산을 위해 필수적이다.
• RQ3 예측된 법선을 3D 가우시안의 기하학적 구조와 가장 잘 일치시키는 법선 표현 방식과 정규화 전략은 무엇인가?
• RQ4 명시적인 조명 표현 방식이 3D 가우시안 렌더링에서 반사 재질에 대해 MLP 기반의 암시적 조명보다 우월한 성능을 보일 수 있는가?
• RQ5 잔여 색상 항목(3차 구면 조화함수 계수)이 복잡하고 시점 의존적인 반사의 렌더링 품질 향상에 어느 정도 기여하는가?

주요 결과

• Tanks and Temples 데이터셋에서 GaussianShader는 PSNR 32.76을 기록하여 가우시안 스플래터링(32.05)과 Ref-NeRF(31.73)를 모두 초월하며 뛰어난 렌더링 품질을 입증했다.
• 최적화 시간을 0.58시간으로 단축하여 Ref-NeRF의 23시간보다 크게 개선했으며, 동시에 97 FPS로 실시간 렌더링을 유지했다.
• 제거 실험 결과, 법선-기하 일치성 손실과 희박한 정규화 손실이 고품질의 법선 추정과 렌더링에 필수적임을 확인했다.
• 잔여 색상(3차 구면 조화함수 계수)을 포함한 모델은 이를 생략한 모델 대비 PSNR를 0.3dB 향상시켜 간접 조명 모델링을 향상시켰다.
• 시각적 비교 결과, GaussianShader는 가우시안 스플래터링과 Ref-NeRF보다 더 부드럽고 정확한 법선과 더 현실적인 강조 반사를 생성했다.
• 명시적인 환경 맵 조명 표현 방식이 PSNR와 시각적 품질 모두에서 MLP 기반 조명보다 뛰어나며, 특히 반사 표면에서 두드러진 성능 향상을 보였다.