[論文レビュー] Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing

Jian Gao, Chun Gu+6 more|arXiv (Cornell University)|Nov 27, 2023

Computer Graphics and Visualization Techniques被引用数 7

ひとこと要約

本稿では、1点あたりのBRDFパラメータ、法線ベクトル、入射光を備えた微分可能で点ベースのレンダリングフレームワーク「Relightable 3D Gaussians」を提案する。3Dガウススプラッタリングにこれを拡張することで、リアルタイムの再ライティングとレイトレースレンダリングを実現する。光をグローバル成分とローカル成分に分解し、BVHを用いた点ベースのレイトレイサを導入することで、物理的に妥当なレンダリングと正確な影の再現を実現。SOTAを上回るマテリアル推定性能を達成し、120 FPS以上のリアルタイム性能を実現した。

ABSTRACT

In this paper, we present a novel differentiable point-based rendering framework to achieve photo-realistic relighting. To make the reconstructed scene relightable, we enhance vanilla 3D Gaussians by associating extra properties, including normal vectors, BRDF parameters, and incident lighting from various directions. From a collection of multi-view images, the 3D scene is optimized through 3D Gaussian Splatting while BRDF and lighting are decomposed by physically based differentiable rendering. To produce plausible shadow effects in photo-realistic relighting, we introduce an innovative point-based ray tracing with the bounding volume hierarchies for efficient visibility pre-computation. Extensive experiments demonstrate our improved BRDF estimation, novel view synthesis and relighting results compared to state-of-the-art approaches. The proposed framework showcases the potential to revolutionize the mesh-based graphics pipeline with a point-based pipeline enabling editing, tracing, and relighting.

研究の動機と目的

• メッシュベースの表現に依存せずに、3D点群のリアルタイムで物理的に妥当な再ライティングを可能にすること。
• 従来の3Dガウススプラッタリング手法に欠けるマテリアルおよび照明制御を補完し、新規視点合成に限定されないことを目的とする。
• リアルなレンダリングに適した影の再現を可能にするために、効率的で微分可能なレイトレイスパイプラインを点ベースシーンに開発すること。
• BRDF分解と正則化技術を用いて、マテリアル推定の精度を向上させること。
• メッシュ再構築なしに編集、再ライティング、リアルタイムレンダリングをサポートする完全な点ベースのグラフィックスパイプラインを実現すること。

提案手法

• 各3Dガウス点に、法線ベクトル、BRDFパラメータ（基本色、粗さ、金属性）、複数方向からの入射光を追加する。
• 光の分解をグローバル（環境マップ）とローカル（入射光フィールド）の成分に分け、安定性と分解精度を向上させる。
• 逆レンダリングによる最適化を可能にする、物理ベースレンダリング（PBR）に基づく微分可能なレンダリングパイプラインを採用する。
• 各3Dガウス点の可視性を効率的に計算し、影効果をベーキングするための新規なBVHベースのレイトレイシング手法を導入する。
• 最適化の曖昧性を軽減するため、基本色正則化、BRDF滑らかさ、照明正則化の項を適用する。
• 実世界のデータにおける幾何的忠実度を向上させるために、市販のMVS再構築を統合し、特に挑戦的なシーンで有効であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 3Dガウス点に1点あたりのBRDFおよび照明属性を拡張することで、現実的な再ライティングが可能になるか？
• RQ2 点ベースシーンにおける効率的な可視性計算は、影付きのリアルタイムレイトレーシングレンダリングを実現するためにどのように達成できるか？
• RQ3 グローバルおよびローカルの入射光成分に分離することで、照明およびマテリアルの分解をどのように改善できるか？
• RQ4 正則化は、点ベースレンダリングにおけるBRDFおよび照明推定の安定性と精度をどの程度向上させるか？
• RQ5 完全な点ベースのグラフィックスパイプラインは、メッシュ再構築なしに編集、再ライティング、リアルタイムレンダリングをサポートできるか？

主な発見

• 本手法は120 FPSを超えるリアルタイムレンダリングを達成し、インタラクティブな応用における実用的妥当性を示した。
• NeRFの合成データセットにおいて、48本のレイサンプルでPSNR 31.78、SSIM 0.961、LPIPS 0.042を達成し、優れた新規視点合成性能を示した。
• アブレーションスタディにより、入射光をグローバルとローカル成分に分割することで、照明推定精度が向上することが確認された。
• 基本色および照明正則化は、特に実世界のDTUデータにおいてマテリアル分解の品質を顕著に向上させた。
• BVHベースのレイトレイサにより、点ベースシーンにおける正確な影効果が実現され、従来の3DGSでは対応できないリアルなレンダリングが可能になった。
• MVSを用いた幾何的強化を行っても、無限大のシーンや背景の干渉に対しては依然として困難を示しており、より優れた幾何的事前知識の必要性が示された。