[論文レビュー] FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting

Zehao Zhu, Zhiwen Fan+2 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

FSGSは、3次元ガウススプラッタリングを用いたリアルタイムの少サンプルNovel View合成フレームワークを提案し、3枚の入力ビューからも写真同等のレンダリングを可能にした。本手法は、スパースなSfM点を密度化するためのプロキシティガイドドガウスアンプーリングを導入し、オンラインで生成された疑似ビューを通じてモノクローラル深度事前知識を統合することで、モバイルで撮影されたデータセット上で203 FPSを達成し、最先端のPSNR（19.54）とSSIM（0.539）を実現した。

ABSTRACT

Novel view synthesis from limited observations remains an important and persistent task. However, high efficiency in existing NeRF-based few-shot view synthesis is often compromised to obtain an accurate 3D representation. To address this challenge, we propose a few-shot view synthesis framework based on 3D Gaussian Splatting that enables real-time and photo-realistic view synthesis with as few as three training views. The proposed method, dubbed FSGS, handles the extremely sparse initialized SfM points with a thoughtfully designed Gaussian Unpooling process. Our method iteratively distributes new Gaussians around the most representative locations, subsequently infilling local details in vacant areas. We also integrate a large-scale pre-trained monocular depth estimator within the Gaussians optimization process, leveraging online augmented views to guide the geometric optimization towards an optimal solution. Starting from sparse points observed from limited input viewpoints, our FSGS can accurately grow into unseen regions, comprehensively covering the scene and boosting the rendering quality of novel views. Overall, FSGS achieves state-of-the-art performance in both accuracy and rendering efficiency across diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website: https://zehaozhu.github.io/FSGS/.

研究の動機と目的

• 極めて少ない入力ビュー（3枚まで）からの高精細でリアルタイムなNovel View合成を達成する挑戦に応えること。
• 少数サンプル設定ですら高い学習・レンダリングコストを伴う、従来のNeRFベースの手法の限界を克服すること。
• 3次元ガウスを用いたスパース初期化状況において、幾何的正確性とシーンカバレッジを向上させること。
• 最適化プロセス中にモノクローラル深度事前知識を効果的に活用し、幾何的整合性を保ちながら過学習を低減すること。
• モバイルVR/ARや自律システムなどの実世界応用への実用的導入を可能にすること。

提案手法

• 既存のガウスに近接する位置に新しいガウスを配置することで、近接性に基づいて代表的な位置を特定し、反復的に3次元ガウスを密度化するProximity-guided Gaussian Unpoolingを提案。
• 事前学習済みモノクローラル深度推定器から得られる深度事前知識を、ガウス最適化プロセスにバックプロパゲート可能にする微分可能な深度ラスタライザーを導入。
• 訓練中の幾何的正則化と深度監視を強化するために、オンラインで生成された疑似ビュー（偽のビュー）を活用。
• 外観と幾何のバランスを取るために、フォトメトリック損失と相関係数（ピアソン相関）を組み合わせたマルチ項損失を統合。
• 不透明度と近接性のしきい値に基づき、動的最適化戦略を採用し、適応的密度化とプルーニングを実現。
• 初期SfM再構築にはCOLMAPを用い、実ビューおよび疑似ビュー両方の入力に対して事前学習済み深度モデルを用いて深度事前知識を生成。

Figure 1 : Real-Time Few-shot Novel View Synthesis. We present a point-based framework that is initialized from extremely sparse SfM points, achieving a significantly faster rendering speed (2900 $\times$ ) while enhancing the visual quality (from 0.684 to 0.745, in SSIM) compared to the previous Sp

実験結果

リサーチクエスチョン

• RQ1 3次元ガウススプラッタリングに基づくフレームワークは、少数サンプルNovel View合成においてもリアルタイムレンダリング速度を維持しつつ、高い視覚的忠実度を達成できるか？
• RQ2 過学習を防ぎつつ、未観測領域をカバーするようにスパースな初期SfM点群を効果的に密度化できるか？
• RQ3 モノクローラル深度事前知識は、低視点数状況下で幾何的正確性と一般化性能をどの程度向上できるか？
• RQ4 マルチビュー監視が欠如する状況下でも、オンライン疑似ビュー増強は3次元ガウスの最適化を効果的に改善できるか？
• RQ5 実世界のモバイルで撮影されたデータに対して、提案手法は最先端のNeRFおよび3D-GSベースラインと比較してレンダリング品質と速度の両面で優れているか？

主な発見

• FSGSは203 FPSのレンダリング速度を達成し、SparseNeRFと比較して2900倍の高速化を実現し、一般消費者用ハードウェアでもリアルタイム推論を可能にした。
• 3枚の訓練ビューでのモバイルで撮影されたデータセットにおいて、FSGSはPSNR 19.54、SSIM 0.539を達成し、両指標ですべてのベースラインを上回った。
• SSIMはSparseNeRFと比較して0.684から0.745に向上し、視覚的品質の顕著な向上を示した。
• FSGSは3D-GSよりもシャープな深度マップを生成し、遠方領域の過剰平滑化を回避した。
• 疑似ビューを通じた深度事前知識の統合によりアリゼーションアーチファクトが低減され、特に未観測領域での幾何的連続性が向上した。
• FSGSはFreeNeRFおよびSparseNeRFを深度品質面で上回り、アーチファクトが少なく、複雑なシーン構造の再構築が優れていた。

Figure 2 : FSGS Pipeline. 3D Gaussians are initialized from SfM, with a few images ( black cameras ). For the sparsely placed Gaussians, we propose densifying new Gaussians to enhance scene coverage by unpooling existing Gaussians into new ones, with properly initialized Gaussian attributes. Monocul