[論文レビュー] Text-to-3D using Gaussian Splatting

Zilong Chen, Feng Wang+2 more|arXiv (Cornell University)|Sep 28, 2023

Image Processing and 3D Reconstruction被引用数 8

ひとこと要約

Gsgen は 3D ガウシアンスプラッティングを用い、テキストプロンプトから高品質で 3D 一貫性のあるアセットを生成するために 3D 点雲拡散先行を用いた 2 段階最適化（ジオメトリ→外観）を採用します。

ABSTRACT

Automatic text-to-3D generation that combines Score Distillation Sampling (SDS) with the optimization of volume rendering has achieved remarkable progress in synthesizing realistic 3D objects. Yet most existing text-to-3D methods by SDS and volume rendering suffer from inaccurate geometry, e.g., the Janus issue, since it is hard to explicitly integrate 3D priors into implicit 3D representations. Besides, it is usually time-consuming for them to generate elaborate 3D models with rich colors. In response, this paper proposes GSGEN, a novel method that adopts Gaussian Splatting, a recent state-of-the-art representation, to text-to-3D generation. GSGEN aims at generating high-quality 3D objects and addressing existing shortcomings by exploiting the explicit nature of Gaussian Splatting that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under 3D point cloud diffusion prior along with the ordinary 2D SDS optimization, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative appearance refinement to enrich texture details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D assets with delicate details and accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Our code is available at https://github.com/gsgen3d/gsgen

研究の動機と目的

• 明示的な 3D 表現を活用して priors を組み込めるようにし、テキストから 3D 生成を改善する動機づけ。
• 2 段階の最適化を通じて正確なジオメトリと高忠実度の外観を達成する。
• 3D の一貫性とディテールを高めるための実用的な初期化と密度化戦略を提示する。

提案手法

• 3D ガウシアンの集合で 3D シーンを表現し、漸進的に最適化する。
• 3D 点雲拡散 priors と 2D SDS 損失に guided されたジオメトリ最適化段階で大まかで 3D 一貫性のある形状を取得する。
• コンパクト性基準に基づく密度化を繰り返すことで外観を第二段階で洗練させ、ディテールを豊かにする。
• Point-E 由来の 3D 形状やユーザー提供のジオメトリでガウシアンを初期化し、崩壊を回避する。
• ジオメトリ最適化中に Gaussian の位置へ 3D SDS 損失を適用して 3D priors を取り入れる。
• 洗練過程では 2D SDS ガイダンスに依存し、連続性と忠実度を向上させるために compactness-based densification を導入する。

Figure 1: Delicate 3D assets generated using the proposed Gsgen . See our project page gsgen3d.github.io for videos of these images.

実験結果

リサーチクエスチョン

• RQ1 Explicit な 3D priors に guided された場合、3D Gaussian Splatting はテキストから 3D 生成の有効な表現として機能するか？
• RQ2 3D priors を用いたジオメトリと密度化による外観の二段階最適化は、2D のみのガイダンスと比較してジオメトリとディテールを改善するか？
• RQ3 Janus 問題や過度の平滑化を緩和する初期化および密度化戦略はどれか？
• RQ4 Point-E の priors を導入するとジオメトリの整合性と最終的な視覚忠実度にどう影響するか？

主な発見

• Gsgen は prior 方法よりも正確なジオメトリと繊細なディテールを持つ 3D アセットを生成する。
• Point-E ガイダンスによる 3D priors の組み込みはジオメトリの崩壊を緩和し、複数視点での一貫性を向上させる。
• 密度化に基づくコンパクト性は外観洗練時のジオメトリの連続性とディテールを高める。
• Point-E priors と 3D ガイダンスによる初期化は、ランダム初期化や 2D ガイダンスのみより優れた結果をもたらす。
• 本手法はテクスチャや毛並みといった高周波成分を、いくつかのベースラインよりも良く捉える。

Stable DreamFusion (Tang, 2022 ; Poole et al., 2023 )