[論文レビュー] GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces

Yingwenqi Jiang, Jiadong Tu+5 more|arXiv (Cornell University)|Nov 29, 2023

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

GaussianShaderは、簡素化されたシェーディング関数と幾何構造に配慮した法線推定手法を組み込んだ、反射面の高精細でリアルタイムレンダリングを可能にする新規な3次元ガウススプラッティングフレームワークを提案する。拡散色、直接反射、残余間接照明を3次球面調和関数でモデル化し、最短軸に基づく法線正則化を用いることで、鏡面反射データセットにおいてガウススプラッティングより1.57dB高いPSNRを達成しながら、リアルタイム推論を維持し、最適化時間を0.58時間まで短縮した。これは、先行する反射レンダリング手法に比べて顕著に高速である。

ABSTRACT

The advent of neural 3D Gaussians has recently brought about a revolution in the field of neural rendering, facilitating the generation of high-quality renderings at real-time speeds. However, the explicit and discrete representation encounters challenges when applied to scenes featuring reflective surfaces. In this paper, we present GaussianShader, a novel method that applies a simplified shading function on 3D Gaussians to enhance the neural rendering in scenes with reflective surfaces while preserving the training and rendering efficiency. The main challenge in applying the shading function lies in the accurate normal estimation on discrete 3D Gaussians. Specifically, we proposed a novel normal estimation framework based on the shortest axis directions of 3D Gaussians with a delicately designed loss to make the consistency between the normals and the geometries of Gaussian spheres. Experiments show that GaussianShader strikes a commendable balance between efficiency and visual quality. Our method surpasses Gaussian Splatting in PSNR on specular object datasets, exhibiting an improvement of 1.57dB. When compared to prior works handling reflective surfaces, such as Ref-NeRF, our optimization time is significantly accelerated (23h vs. 0.58h). Please click on our project website to see more results.

研究の動機と目的

• 3次元ガウススプラッティングが視点依存の外観モデルを欠いていることによる、反射的・鏡面的表面のレンダリングにおける制限を解消すること。
• 高反射性表面を含む複雑な素材を、トレーニングや推論速度を犠牲にすることなく、効率的かつリアルタイムでレンダリングできることを実現すること。
• 離散的で連続でない3次元ガウス球面上での正確な法線推定フレームワークを構築し、正確なシェーディング計算に寄与すること。
• 拡散、直接、残余反射成分を統合した簡素化されたシェーディングモデルを3次元ガウス表現に組み込み、よりリアルな描写を実現すること。

提案手法

• 3次球面調和関数を用いて、拡散色、直接反射、残余間接照明をモデル化する簡素化されたシェーディング関数を導入する。
• 各3次元ガウスに対して最短軸方向に基づく新しい法線表現を提案し、精度向上のための学習可能な法線残差を導入する。
• 予測された法線とレンダリングされた深度マップから導出された法線を一致させる、微分可能な法線-幾何整合性損失を採用する。
• エンドツーエンドのトレーニング中に微分可能な視点依存のライティングシミュレーションを実現するため、明示的な環境ライティングマップを用いる。
• コンactな3次元ガウス分布を維持し、過学習を回避するためのスパarsity正則化損失を適用する。
• シェーディングモデルを3次元ガウススプラッティングパイプラインに統合し、リアルタイムレンダリング速度とトレーニング効率を保持する。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたシェーディング関数を3次元ガウススプラッティングに効果的に統合することで、効率を損なわず、反射面のレンダリング品質を向上させることができるか？
• RQ2 離散的で連続でない3次元ガウス球面上で、信頼性の高いシェーディング計算のための正確な表面法線をどのように推定できるか？
• RQ3 予測された法線を3次元ガウスの背後にある幾何構造と最もよく一致させる法線表現と正則化戦略は何か？
• RQ4 明示的なライティング表現は、3次元ガウスレンダリングにおいて、反射素材のレンダリングでMLPベースのライティングを上回ることができるか？
• RQ5 残余色項の導入が、複雑な視点依存の反射のレンダリング品質にどの程度向上効果をもたらすか？

主な発見

• GaussianShaderはTanks and TemplesデータセットでPSNR 32.76を達成し、ガウススプラッティング（32.05）とRef-NeRF（31.73）を上回り、優れたレンダリング品質を示した。
• 最適化時間を0.58時間まで短縮したが、リアルタイムレンダリングは97FPSを維持した。これはRef-NeRFの23時間に比べ顕著な改善である。
• アブレーションスタディの結果、法線-幾何整合性損失とスパarsity正則化が、高品質な法線推定とレンダリングに不可欠であることが確認された。
• 3次球面調和関数係数（残余色）を含めたモデルは、それを含まないモデルと比較してPSNRが0.3dB向上し、間接照明のモデリングが向上した。
• 視覚的比較では、GaussianShaderはガウススプラッティングやRef-NeRFよりも滑らかで正確な法線と、より現実的な鏡面反射を生成した。
• 明示的な環境マップライティング表現は、PSNRおよび視覚的品質の両面でMLPベースのライティングを上回り、特に反射面において顕著な優位性を示した。