[論文レビュー] RaDe-GS: Rasterizing Depth in Gaussian Splatting

Baowen Zhang, Chuan Fang+4 more|arXiv (Cornell University)|Jun 3, 2024

Industrial Vision Systems and Defect Detection被引用数 7

ひとこと要約

RaDe-GS は一般的な3D Gaussian splatsのためのラスター化深度と法線マップ計算を導入し、標準の Gaussian Splatting と同程度のレンダリング効率で正確な表面再構成を達成します。

ABSTRACT

Gaussian Splatting (GS) has proven to be highly effective in novel view synthesis, achieving high-quality and real-time rendering. However, its potential for reconstructing detailed 3D shapes has not been fully explored. Existing methods often suffer from limited shape accuracy due to the discrete and unstructured nature of Gaussian splats, which complicates the shape extraction. While recent techniques like 2D GS have attempted to improve shape reconstruction, they often reformulate the Gaussian primitives in ways that reduce both rendering quality and computational efficiency. To address these problems, our work introduces a rasterized approach to render the depth maps and surface normal maps of general 3D Gaussian splats. Our method not only significantly enhances shape reconstruction accuracy but also maintains the computational efficiency intrinsic to Gaussian Splatting. It achieves a Chamfer distance error comparable to NeuraLangelo on the DTU dataset and maintains similar computational efficiency as the original 3D GS methods. Our method is a significant advancement in Gaussian Splatting and can be directly integrated into existing Gaussian Splatting-based methods.

研究の動機と目的

• Gaussian Splatting フレームワーク内での3D形状再構成の改善を動機づける。
• 一般的なガウシアン・スプラットの深度と法線マップを計算するラスター化アプローチを開発する。
• 形状忠実度を高めつつレンダリングと最適化の効率を維持する。
• 既存のGaussian Splatting ベースの手法と直接統合を可能にする。

提案手法

• シーンを中心 x_c と共分散 Σ を持つ半透明な3Dガウシアンの集合として表現する。
• 局所アファイン（Ray-space）投影を適用してガウシアンをラスター化レンダリングのために効率的に投影する。
• 投影されたガウシアンが覆う画素のために d = p̂(u_c − u_o) の閉形式でラスター可能な深度方程式を導出する。
• レイに沿ってガウシアンを最大化して深度をピクセルごとに計算し、レイ空間で平面法線を導出して法線を得る。
• 学習時には深度歪みと法線整合性の損失を含む深度と法線マップをフォトメトリック損失と共に使用する。
• レンダリング損失でまず訓練し、その後幾何を洗練させるために深度/法線制約を追加する。

実験結果

リサーチクエスチョン

• RQ1 局所アファイン投影の下でラスター化により一般的なGaussian splatの深度と法線を効率的に計算できるか。
• RQ2 Gaussian splats の深度/法線マップをラスター化することで、GS のレンダリング/最適化効率を損ねずに3D表面再構成を改善するか。
• RQ3 深度歪みと法線整合性損失は Gaussian Splatting における3D再構成品質にどのような影響を与えるか。
• RQ4 提案手法は、暗黙的手法（例：NeuraLangelo）と競合する再構成精度を達成しつつ、GS の効率性を維持できるか。

主な発見

• ラスター化深度と法線計算は3D Gaussian splats の高品質な3D再構成を生み出す。
• DTU データセットでは RaDe-GS は Chamfer Distance が NeuraLangelo に匹敵し、GOF および 2D GS よりも GS ベース手法の中で優れている。
• 本手法は標準 Gaussian Splatting のレンダリングおよび最適化効率を保持する。
• RaDe-GS は暗黙的手法と競争力のある性能を達成しつつ、トレーニング時には多くのベースラインよりも高速である。
• 深度歪みと法線整合性損失は表面の整列と忠実度をさらに向上させる。