[논문 리뷰] Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing

Jian Gao, Chun Gu외 6명|arXiv (Cornell University)|2023. 11. 27.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

이 논문은 3D 가우시안 스플래터링을 per-point BRDF 파라미터, 법선 벡터, 그리고 입사 조명을 추가하여 실시간 재조명과 레이 트레이싱 렲팅을 가능하게 하는 유연한 점 기반 렲팅 프레임워크인 Relightable 3D 가우시안을 제안한다. 조명을 전역 및 국소 성분으로 분해하고 BVH 가속화된 점 기반 레이 트레이서를 도입함으로써 물리 기반 려팅을 실현하며 정확한 그림자 효과를 구현하여 실시간 성능(>120 FPS)과 SOTA 대비 향상된 재질 추정 성능을 달성한다.

ABSTRACT

In this paper, we present a novel differentiable point-based rendering framework to achieve photo-realistic relighting. To make the reconstructed scene relightable, we enhance vanilla 3D Gaussians by associating extra properties, including normal vectors, BRDF parameters, and incident lighting from various directions. From a collection of multi-view images, the 3D scene is optimized through 3D Gaussian Splatting while BRDF and lighting are decomposed by physically based differentiable rendering. To produce plausible shadow effects in photo-realistic relighting, we introduce an innovative point-based ray tracing with the bounding volume hierarchies for efficient visibility pre-computation. Extensive experiments demonstrate our improved BRDF estimation, novel view synthesis and relighting results compared to state-of-the-art approaches. The proposed framework showcases the potential to revolutionize the mesh-based graphics pipeline with a point-based pipeline enabling editing, tracing, and relighting.

연구 동기 및 목표

• 메쉬 기반 표현에 의존하지 않고 3D 점군에 대한 실시간 물리 기반 재조명을 가능하게 하기 위해.
• 기존 3D 가우시안 스플래터링 방법이 신규 시점 합성에 국한되어 재질 및 조명 제어가 부족한 문제를 해결하기 위해.
• 실제 그림자 효과를 지원하는 현실적인 려팅을 위한 효율적이고 유연한 레이 트레이싱 파이프라인을 점 기반 시나리오에 구현하기 위해.
• BRDF 분해 및 정규화 기법을 통해 재질 추정 정확도를 향상시키기 위해.
• 메쉬 재구성 없이 편집, 재조명, 실시간 레이 트레이싱을 모두 지원하는 완전한 점 기반 그래픽스 파이프라인을 구현하기 위해.

제안 방법

• 각 3D 가우시안 점은 법선 벡터, BRDF 파라미터(기본 색상, 거칠기, 금속성) 및 다중 방향에서의 입사 조명을 추가로 보유한다.
• 조명을 전역(환경 맵) 및 국소(입사 광장) 성분으로 분해하여 안정성과 분해 정확도를 향상시킨다.
• 역 레이팅을 통한 BRDF 및 조명 파라미터 최적화를 위해 물리 기반 려팅(PBR) 기반의 유연한 렌더링 파이프라인을 사용한다.
• 각 3D 가우시안 점에 대한 가시성과 그림자 효과를 효율적으로 계산하기 위해 새로운 BVH 기반 레이 트레이싱 방법을 도입한다.
• 최적화의 다중해 문제를 완화하기 위해 기본 색상 정규화, BRDF 매끄러움, 조명 정규화 등의 정규화 항을 적용한다.
• 실제 세계 데이터의 기하학적 정밀도를 향상시키기 위해 상용 MVS 복구 기법을 통합하며, 특히 도전적인 시나리오에서 유의미한 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 3D 가우시안 점에 per-point BRDF 및 조명 속성을 추가하여 현실적인 재조명을 가능하게 할 수 있는가?
• RQ2 점 기반 시나리오에서 실시간 레이 트레이싱 려팅과 그림자 효과를 지원하기 위해 효율적인 가시성 계산을 어떻게 달성할 수 있는가?
• RQ3 전역 및 국소 입사 광장 성분을 분리함으로써 조명 및 재질 분해를 개선할 수 있는가?
• RQ4 정규화 기법이 점 기반 레이팅에서 BRDF 및 조명 추정의 안정성과 정확도에 얼마나 기여하는가?
• RQ5 완전히 점 기반의 그래픽스 파이프라인은 메쉬 재구성 없이 편집, 재조명, 실시간 렌더링을 모두 지원할 수 있는가?

주요 결과

• 이 방법은 120 FPS 이상의 실시간 렌더링 성능을 달성하여 상호작용 가능한 응용 분야에서의 실현 가능성을 입증한다.
• NeRF 합성 데이터셋에서 48개의 레이 샘플을 사용할 경우 PSNR 31.78, SSIM 0.961, LPIPS 0.042를 기록하여 뛰어난 신규 시점 합성 성능을 보였다.
• 제거 실험을 통해 입사 조명을 전역 및 국소 성분으로 분리함으로써 조명 추정 정확도가 향상됨을 확인하였다.
• 기본 색상 및 조명 정규화가 실세계 DTU 데이터에서 특히 재질 분해 품질을 크게 향상시켰다.
• BVH 기반 레이 트레이서는 점 기반 시나리오에서 정확한 그림자 효과를 제공하여 기존 표준 3DGS에서 지원하지 못하는 현실적인 레이팅을 가능하게 하였다.
• MVS를 사용해 기하학적 정밀도를 향상시켰음에도 불구하고, 비유한 환경 및 배경 간섭 문제로 인해 여전히 도전적인 시나리오에서는 성능 저하가 발생하여 향상된 기하학적 사전 지식이 필요함을 시사한다.