[論文レビュー] SparseGS: Real-Time 360° Sparse View Synthesis using Gaussian Splatting

Haolin Xiong, Sairisheek Muttukuru+3 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

SparseGSは、3Dガウススプラッタリングを用いたリアルタイム360°スパースビュー合成手法を提案する。深度事前知識、拡散モデルベースの生成、および新規の適応的フローター刈り込み演算子を統合し、少数ショット設定で最先端の性能を達成する。背景の崩壊やフローターの発生を低減し、ベースの3DGSに対して最大30.5%、NeRFベースの手法に対して15.6%のLPIPS向上を達成する。1枚のGPUでリアルタイム推論を維持する。

ABSTRACT

3D Gaussian Splatting (3DGS) has recently enabled real-time rendering of unbounded 3D scenes for novel view synthesis. However, this technique requires dense training views to accurately reconstruct 3D geometry. A limited number of input views will significantly degrade reconstruction quality, resulting in artifacts such as "floaters" and "background collapse" at unseen viewpoints. In this work, we introduce SparseGS, an efficient training pipeline designed to address the limitations of 3DGS in scenarios with sparse training views. SparseGS incorporates depth priors, novel depth rendering techniques, and a pruning heuristic to mitigate floater artifacts, alongside an Unseen Viewpoint Regularization module to alleviate background collapses. Our extensive evaluations on the Mip-NeRF360, LLFF, and DTU datasets demonstrate that SparseGS achieves high-quality reconstruction in both unbounded and forward-facing scenarios, with as few as 12 and 3 input images, respectively, while maintaining fast training and real-time rendering capabilities.

研究の動機と目的

• スパースな訓練ビューからの一貫性のある360°新規ビュー合成の課題に取り組む。既存手法は背景の崩壊やフローターの発生に苦しんでいる。
• 少数ショット設定における3Dガウススプラッタリングの限界を克服するため、明示的で微分可能な制約と新規の刈り込み機構を導入する。
• 無制限で360°のシーンにおいて、最小限の訓練データで高精細な結果を維持しつつ、リアルタイムレンダリング性能を達成する。
• 暗黙のニューラルレイトランスフィールドとは異なり、3Dガウスの明示的性質を活かし、フローターなどのアーティファクトを直接的・適応的に操作可能にする。

提案手法

• 本手法は3Dガウススプラッタリングを基盤とし、レンダリングされたビュー内の高密度で不規則に配置されたアーティファクトを特定・削除する新規の適応的フローター刈り込み演算子を導入する。
• 予測された深度マップ同士のピアソン相関を用いた深度相関損失を導入し、複数のビュー間での深度の一貫性を正則化する。
• 訓練中に、視野カバレッジが低い領域を補完するため、拡散モデルからのスコア分散採択（SDS）損失を適用する。
• 20kおよび25kイテレーション目で繰り返し刈り込みを実施する訓練パイプラインを構築し、学習されたしきい値（a=97, b=-8）を用いてフローターを検出・削除する。
• 一般化性を向上させるために、128×128のパッチベース深度相関損失を用い、各イテレーションで50%のパッチを選択する。
• 深度と拡散モデルの監視の寄与度を調整するため、λ_depth=0.1およびλ_SDS=5×10⁻⁴といったハイパーパrameterを用いる。

Figure 1 : Our proposed pipeline incorporates depth and diffusion constraints along with a floater pruning technique to improve few-shot novel view synthesis performance. During training, we render the alpha-blended depth $d^{\text{alpha}}$ and use Pearson correlation to encourage it to align with $

実験結果

リサーチクエスチョン

• RQ1 明示的な3Dガウス表現は、最小限の訓練ビューで少数ショット360°新規ビュー合成に効果的に適応可能か？
• RQ2 深度相関と拡散モデルベースの監視を統合することで、スパースビュー設定におけるフローターと背景の崩壊が顕著に低減されるか？
• RQ3 3Dガウスに直接作用する微分可能な刈り込み演算子は、ニューラルレイトランスフィールドにおける暗黙の正則化を上回る性能を発揮できるか？
• RQ4 明示的制約と適応的刈り込みの組み合わせが、無限大のシーンにおいて推論速度とレンダリング品質にどのように影響を与えるか？

主な発見

• SparseGSは、少数ショット条件下でMip-NeRF-360データセットにおいて、ベースの3Dガウススプラッタリング比でLPIPSが30.5%向上した。
• NeRFベースの手法と比較してLPIPSが15.6%改善され、優れた一般化性能とアーティファクト抑制能力を示した。
• アブレーションスタディの結果、フローター刈り込みがPSNR向上に最も寄与しており、削除した場合に1.0ポイントの低下を示した。
• 完全モデルは、深度相関損失による滑らかさと、刈り込みおよび拡散による正確な背景詳細を組み合わせた最良の深度マップ品質を達成した。
• 1枚のRTX 3090で40 FPSを達成し、従来手法と比較して訓練・推論コストを著しく低減したリアルタイム推論を実現した。
• 強力な性能を発揮する一方で、特に20個未満の初期点を有するスパースビュー状況では、不正確なCOLMAP点群に敏感であることが判明した。

Figure 2 : An illustration of how $d^{\text{alpha}}$ and $d^{\text{mode}}$ can disagree. On top, we see an example ray with 4 gaussians along it. On bottom, we see values of $T_{i}$ , $\alpha_{i}$ , and $w_{i}$ along this ray. Note the upward and downward axes both represent positive values and are