[論文レビュー] InstantSplat: Sparse-view Gaussian Splatting in Seconds

Zhiwen Fan, Wenyan Cong+10 more|arXiv (Cornell University)|Mar 29, 2024

Spectroscopy Techniques in Biomedical and Chemical Research被引用数 9

ひとこと要約

InstantSplat はポーズフリーでスパースビューの 3D Gaussian Splatting を密なステレオ priors と統合し、プリ計算されたカメラ内参/外参を用意することなく、大規模シーンを1分未満で再構築・レンダリングします。

ABSTRACT

While neural 3D reconstruction has advanced substantially, its performance significantly degrades with sparse-view data, which limits its broader applicability, since SfM is often unreliable in sparse-view scenarios where feature matches are scarce. In this paper, we introduce InstantSplat, a novel approach for addressing sparse-view 3D scene reconstruction at lightning-fast speed. InstantSplat employs a self-supervised framework that optimizes 3D scene representation and camera poses by unprojecting 2D pixels into 3D space and aligning them using differentiable neural rendering. The optimization process is initialized with a large-scale trained geometric foundation model, which provides dense priors that yield initial points through model inference, after which we further optimize all scene parameters using photometric errors. To mitigate redundancy introduced by the prior model, we propose a co-visibility-based geometry initialization, and a Gaussian-based bundle adjustment is employed to rapidly adapt both the scene representation and camera parameters without relying on a complex adaptive density control process. Overall, InstantSplat is compatible with multiple point-based representations for view synthesis and surface reconstruction. It achieves an acceleration of over 30x in reconstruction and improves visual quality (SSIM) from 0.3755 to 0.7624 compared to traditional SfM with 3D-GS.

研究の動機と目的

• unconstrained でスパースビュー設定における頑健な新視点合成（NVS）を、事前計算されたカメラ内参/外参に依存せずに動機づける。
• 明示的な 3D Gaussian Splatting をエンドツーエンドの密なステレオ priors と組み合わせて、ポーズフリーな高速なシーン再構成を実現する。
• ジオメトリを初期化し、Gaussian 属性とカメラパラメータを共同で最適化する、簡素化された最適化パイプラインを提供する。
• 大規模な屋外シーンへのスケーラビリティを示し、レンダリング品質とポーズ精度を向上させる。

提案手法

• InstantSplat を提案する：二段階パイプライン。グローバルに整列した点群と初期姿勢を事前学習済みの密なステレオモデル（DUSt3R）から取得する粗い幾何初期化（CGI）。
• calibration なし/姿勢なし画像から per-view 点群と信頼度マップを生成するために DUSt3R を利用し、Weiszfeld に基づく焦点推定を通じてカメラ内参を回復する。
• グローバルに整列した 3D プリオリジンを出発点として、姿勢正規化を伴う 3D Gaussian 属性とカメラパラメータを共同で改良する Fast 3D-Gaussian Optimization（F-3DGO）を実行する。
• SH ベースのカラーエンコディングとビュー方向依存係数を用いて 3D Gaussian Splatting（3D-GS）でレンダリングする。
• 学習済みの 3D-GS モデルを凍結し、テストビューのカメラ姿勢を最適化してフォトメトリック差異を最小化する NeRFmm に触発された戦略に従い、テストビューの姿勢を整列させる。

実験結果

リサーチクエスチョン

• RQ1 ポ COLMAP 型の事前計算に依存せず、ポーズフリーでスパースビュー設定におけるNVSをどのように実現できるか。
• RQ2 エンドツーエンドの_density_ stereo priors を Gaussian splatting と効果的に統合して、大規模な屋外シーンで高品質なレンダリングと正確なポーズ推定を実現できるか。
• RQ3 globally aligned 点群で初期化することが、最適化の効率と最終レンダリング品質にどのような影響を及ぼすか。
• RQ4 Gaussian 属性とカメラパラメータの共同最適化を、ポーズ正規化下で行うことは、従来のポーズ依存法と比べて速度と精度にどのような利点をもたらすか。

主な発見

• InstantSplat は、 Tanks & Temples および MVImgNet での SSIM が最大 0.89 へ向上するなどレンダリング品質を改善しつつ、最適化時間を大幅に短縮して1分未満で完了する。
• ポーズ推定精度が著しく向上し、 Tanks & Temples で ATE が 0.055 から 0.011 へ、他の評価シーンでも RPE が改善される。
• CF-3DGS や Nope-NeRF などのポーズフリーベースラインよりもレンダリング品質（PSNR/SSIM/LPIPS）およびポーズ指標の両方で優れており、不安定なポーズ推定によるアーティファクトを回避できる。
• globally aligned 点群を priors として用いることで、3DGS の複雑な適応密度制御への依存を減らし、最適化を高速化する。
• Gaussian 属性とカメラパラメータの結合最適化は、ポーズ正規化下で、テストビューのレンダリングをよりシャープにし、より堅牢な整合性をもたらす。