[論文レビュー] MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo

Tianqi Liu, Guangcong Wang+7 more|arXiv (Cornell University)|May 20, 2024

Advanced Vision and Imaging被引用数 4

ひとこと要約

MVSGaussianは、幾何情報特徴をエンコードするMulti-View Stereo（MVS）を用いて、一般化可能で高速な3Dガウススプラッティングフレームワークを提案する。この手法は、Novel View Synthesisの分野で、DTU、LLFF、NeRF Synthetic、Tanks and Templesデータセットにおいて最先端の視覚合成品質を達成し、1シーンあたり60秒未満の最適化時間とリアルタイムレンダリングを実現する。

ABSTRACT

We present MVSGaussian, a new generalizable 3D Gaussian representation approach derived from Multi-View Stereo (MVS) that can efficiently reconstruct unseen scenes. Specifically, 1) we leverage MVS to encode geometry-aware Gaussian representations and decode them into Gaussian parameters. 2) To further enhance performance, we propose a hybrid Gaussian rendering that integrates an efficient volume rendering design for novel view synthesis. 3) To support fast fine-tuning for specific scenes, we introduce a multi-view geometric consistent aggregation strategy to effectively aggregate the point clouds generated by the generalizable model, serving as the initialization for per-scene optimization. Compared with previous generalizable NeRF-based methods, which typically require minutes of fine-tuning and seconds of rendering per image, MVSGaussian achieves real-time rendering with better synthesis quality for each scene. Compared with the vanilla 3D-GS, MVSGaussian achieves better view synthesis with less training computational cost. Extensive experiments on DTU, Real Forward-facing, NeRF Synthetic, and Tanks and Temples datasets validate that MVSGaussian attains state-of-the-art performance with convincing generalizability, real-time rendering speed, and fast per-scene optimization.

研究の動機と目的

• 1シーンあたり数分を要する3Dガウススプラッティングにおける1シーン最適化の非効率性を解消すること。
• 高いパラメータ感受性のため、未知のシーンへの明示的3Dガウス表現の一般化が困難であるという課題を克服すること。
• スプラッティングとボリュームレンダリングを組み合わせたハイブリッドレンダリング戦略を導入することで、implicitなNeRFベース手法を上回る一般化性能を向上させること。
• 初期化にマルチビュー幾何的一致性アグリゲーション戦略を導入することで、特定シーンに対する高速で高品質なファインチューニングを可能にすること。
• 従来の一般化可能NeRFおよびバニラ3D-GS手法と比較して、リアルタイム推論とより高速な最適化を達成すること。

提案手法

• マルチビュー・ステレオ（MVS）を活用し、深度推定と3Dポイントの幾何情報特徴をエンコードする。2次元のU-Netを用いて空間認識を向上させる。
• MLPを用いて、順伝播的にポイントワイズ特徴をガウスパラメータ（位置、スケール、回転、色）にデコードする。
• 標準的なスプラッティングと深度感知ボリュームレンダリングを組み合わせたハイブリッドガウスレンダリング戦略を導入し、一般化性能を向上させる。
• マルチビュー幾何的一致性チェックを適用し、一般化可能モデルからの点群をアグリゲートし、ノイズの多いガウス分布をフィルタリングしながら有効なものを保持する。
• アグリゲートされ一貫性のある点群を、1シーン最適化の初期化に用いることで、計算コストを低減し収束を加速する。
• 推論およびファインチューニング中にリアルタイムレンダリングを実現するため、微分可能タイルベースラスタライザーを用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 MVSに基づく幾何推論を用いることで、未学習シーンにおいても高速な推論が可能な一般化可能3Dガウススプラッティングフレームワークを構築できるか？
• RQ2 スプラッティングとボリュームレンダリングを組み合わせることで、単独で使用する場合と比較して一般化性能がどのように向上するか？
• RQ3 幾何的一致性に基づくアグリゲーション戦略が、1シーン最適化の初期化品質を顕著に改善できるか？
• RQ4 一般化可能モデルとバニラ3D-GSの比較において、推論速度、レンダリング品質、最適化時間のトレードオフはどのようなものか？
• RQ5 本手法は、実世界および合成ベンチマークを含む多様なシーンタイプにどの程度一般化可能か？

主な発見

• MVSGaussianは、DTU、LLFF、NeRF Synthetic、Tanks and Templesデータセットにおいて、それぞれPSNRが28.21、24.07、26.46、23.28の最先端の視覚合成性能を達成した。
• 本手法は350 FPSのフレームレートでリアルタイムレンダリングを実現し、NeRFベース手法を著しく上回り、バニラ3D-GSの速度と同等の性能を示した。
• Real Forward-facingデータセットでは、1シーン最適化がわずか45秒で完了した。これは、バニラ3D-GSの10分およびNeRFの10時間と比較して顕著な高速化である。
• ハイブリッドレンダリング戦略（スプラッティング＋ボリュームレンダリング）により、スプラッティングのみまたはボリュームレンダリングのみのベースラインと比較して、PSNRが0.73～1.00向上した。
• 幾何的一致性アグリゲーション戦略により、Real Forward-facingデータセットで26.98のPSNRを達成し、直接連結（26.18）やボクセルダウンサンプリング（26.72）を上回った。
• 球面調和関数（SH）ではなくRGB値を直接デコードすることで、一般化性能が向上した。特にNeRF Syntheticデータセットでは、SHデコードがPSNRを1.19ポイント低下させた。