[論文レビュー] Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Stanisław Szymanowicz, Christian Rupprecht+1 more|arXiv (Cornell University)|Dec 20, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

Splatter Image は、ガウススプラッタリングを用いた、学習ベースの超高速な単一および少数ビュー 3D 再構成手法を提案する。2次元 U-Net が各画素ごとに1つの3次元ガウス分布をエンコードする「スプラッタ画像」とも呼ばれる擬似画像を予測する。本手法は 38 FPS の推論速度を達成し、ShapeNet および CO3D ベンチマークで最先端の性能を示し、PSNR および LPIPS においてより遅いベースラインを上回る。また、単一の GPU で効率的に学習可能である。

ABSTRACT

We introduce the \method, an ultra-efficient approach for monocular 3D object reconstruction. Splatter Image is based on Gaussian Splatting, which allows fast and high-quality reconstruction of 3D scenes from multiple images. We apply Gaussian Splatting to monocular reconstruction by learning a neural network that, at test time, performs reconstruction in a feed-forward manner, at 38 FPS. Our main innovation is the surprisingly straightforward design of this network, which, using 2D operators, maps the input image to one 3D Gaussian per pixel. The resulting set of Gaussians thus has the form an image, the Splatter Image. We further extend the method take several images as input via cross-view attention. Owning to the speed of the renderer (588 FPS), we use a single GPU for training while generating entire images at each iteration to optimize perceptual metrics like LPIPS. On several synthetic, real, multi-category and large-scale benchmark datasets, we achieve better results in terms of PSNR, LPIPS, and other metrics while training and evaluating much faster than prior works. Code, models, demo and more results are available at https://szymanowiczs.github.io/splatter-image.

研究の動機と目的

• 単一のモノクロナル画像から、効率的なディープラーニングを用いてリアルタイムかつ高品質な 3D 再構成を可能にすること。
• NeRF などの暗黙的 3D 表現の計算ボトル neck を克服するため、ガウススプラッタリングの高速性と高品質さを活用すること。
• 視覚的指標（例：LPIPS）を用いた全画角の監視が可能な、訓練効率の良いフレームワークを設計すること。
• 相対的カメラポーズを用い、絶対的ポーズに依存しないことで、複数ビュー再構成への拡張を可能にすること。
• 最小限の計算コストで最先端の再構成品質を達成し、単一の GPU での学習および推論を可能にすること。

提案手法

• 本手法は、2次元 U-Net を用いた画像対画像ネットワークを用い、各画素が3次元ガウス分布の位置、色、不透明度、形状をエンコードする「スプラッタ画像」とも呼ばれる2次元特徴マップを予測する。
• 予測された各3次元ガウス分布はガウススプラッタリングによりレンダリングされ、588 FPS の高速かつ高品質なレンダリングが可能となり、レンダリングと学習のボトル neck が分離される。
• 3次元ガウス分布は2次元画像構造に格納されるため、高価な3次元演算の代わりに効率的な2次元畳み込みが利用可能となり、学習および推論が簡素化される。
• 複数ビュー入力の場合、複数のビューからの予測を共通の基準フレームに登録し、軽量なクロスビュー注意機構を統合することで統合する。
• モデルは L1、LPIPS、および視覚的損失の組み合わせを用いて学習され、各学習イテレーションで全360°レンダリング画像が生成され、視覚的リアリズムを最適化する。
• 後処理として、不活性なガウス分布（不透明度 ≈ 0）を除去することで、品質を損なわずにメモリとレンダリングコストを削減する。

Figure 2 : Predicting locations. The location of each Gaussian is parameterised by depth $d$ and a 3D offset $\Delta=(\Delta_{x},\Delta_{y},\Delta_{z}$ ). The 3D Gaussians are projected to depth $d$ (blue) along camera rays (green) and moved by the 3D offset $\Delta$ (red).

実験結果

リサーチクエスチョン

• RQ1 2次元ネットワークを用いて3次元ガウス分布を予測する単純な2次元画像対画像変換により、ガウススプラッタリングをモノクロナル3D再構成に効果的に適応できるか？
• RQ2 2次元画像対画像ネットワークが3次元ガウス混合にマッピングすることで、1ビューからの高精細360°再構成が可能か？
• RQ3 本手法は、超高性能な推論および学習遅延を維持しながら、最先端の再構成品質を達成できるか？
• RQ4 全視角レンダリングを用いた視覚的損失（例：LPIPS）は、部分的視角監視と比較して一般化性能をどのように向上させるか？
• RQ5 絶対的カメラポーズを必要としない状況で、複数の入力画像からの予測を統合するにあたり、マルチビュー注意機構は再構成品質をどの程度向上できるか？

主な発見

• Splatter Image は単一の GPU で 38 FPS の推論速度を達成し、テスト時の効率性において PixelNeRF や VisionNeRF よりも 1000 倍以上高速である。
• 本手法は単一の A6000 GPU で 7 日間で効率的に学習可能であり、ShapeNet および CO3D ベンチマークで最先端の PSNR および LPIPS スコアを達成し、VisionNeRF（16 個の A100 GPU を 5 日間使用）を上回る。
• ShapeNet-SRN ベンチマークでは、PSNR 28.98、LPIPS 0.033 を達成し、PixelNeRF（PSNR 28.45、LPIPS 0.037）および VisionNeRF（PSNR 28.71、LPIPS 0.037）を顕著に上回り、著しく低い遅延を実現した。
• 本手法は未学習の視点に対しても良好に一般化する：推論時に1つの側面しか見られないが、強いインダクティブバイアスのおかげで、高精細な360°オブジェクト再構成が可能である。
• 後処理では50％以上のガウス分布が不活性（不透明度 ≈ 0）であることが判明し、品質を損なわずに効率的に除去可能であり、レンダリング速度およびメモリ効率が向上する。
• 本手法は、キャンナニカルまたは絶対的カメラポーズを必要とせず、相対的ポーズに依存するため、デプロイの簡素化とポーズ変動へのロバストネス向上が可能である。

Figure 3 : ShapeNet-SRN. Our method is able to represent difficult geometries ( e.g . , windshield in yellow car), and preserve details of the conditioning image (front of red car), occluded parts (left chair), thin structures (middle chair) and complex shapes (right chair).