[論文レビュー] GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

Yinghao Xu, Zifan Shi+6 more|arXiv (Cornell University)|Mar 21, 2024

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

GRM は、4 つのスパースビューからピクセルに整列した 3D ガウスを予測することで 3D シーンを再構成する前向き変換モデルで、推論は高速（約 0.1s）で、最先端の品質を達成し、拡散モデルと組み合わせるとテキスト-および画像-から 3D 生成を可能にする。

ABSTRACT

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.

研究の動機と目的

• ロボティクス、ゲーム、建築などのアプリケーションのために、より高速で高忠実な 3D 再構成と生成を動機づける。
• 3D ガウスでシーンを表現して高コストなボリュームレンダリングを回避する、スケーラブルなフィードフォワードフレームワークを提案する。
• トランスフォーマーベースのアーキテクチャが、マルチビュー入力を密なピクセルに整列した 3D ガウスへ効率的に変換できることを示す。
• GRM がスパースビュー再構成の最先端品質と速度を達成し、拡散モデルによる 3D 生成を可能にすることを示す。

提案手法

• 入力ピクセルを視線に沿って3D空間へ接続するピクセルに整列した3Dガウスを導入する。
• マルチビュー特徴を融合する純粋なトランスフォーマーエンコーダと、ウィンドウ付き自己注意を用いるトランスフォーマーベースのアップサンプラーで高周波のディテールを回復する。
• 視点ごとの属性マップを介して深度、回転、スケール、不透明度、SH係数などのガウス属性を予測し、次に密な 3D ガウスへアンプロジェクションしてガウス splatting でレンダリングする。
• 4 入力ビューと追加ビューおよびオブジェクトマスクからの監督信号で訓練し、フロートを減らし忠実度を向上させる。
• GRM をマルチビュー拡散モデルと統合してテキスト-から-3D および画像-から-3D 生成を可能にする。
• 訓練を安定させるために、事前に定義された範囲間の線形補間を用いたシグモイドベースのスケール活性化を採用する。

実験結果

リサーチクエスチョン

• RQ1 純粋にトランスフォーマー ベースのスパースビュー再構成器は、4 ビューから高忠実な 3D アセットを生成できるか。
• RQ2 ピクセルに整列した 3D ガウスとしてシーンを表現することは、トリプルプレーン/NerF ベースの手法と比較して再構成の効率と品質を向上させるか。
• RQ3 GRM は拡散事前分布と組み合わせたとき、テキストから3Dおよび画像から3D の高速生成を可能にするか。
• RQ4 アップサンプリング戦略とアルファ正則化が3D再構成品質に与える影響は何か。

主な発見

Method	#views	PSNR↑	SSIM↑	LPIPS↓	INF. Time↓	REND. Time↓
GS [43]	4	21.22	0.854	0.140	9 min	Real time
IBRNet [100]	16	21.50	0.877	0.155	21 sec	1.2 sec
SparseNeuS [54,59]	16	22.60	0.873	0.132	6 sec	Real time
LGM [92]	4	23.79	0.882	0.097	0.07 sec	Real time
MV-LRM [46]	4	25.38	0.897	0.068	0.25 sec	1.7 sec
GRM (Ours)	4	30.05	0.906	0.052	0.11 sec	Real time

• GRM は、スパースビューの対象物再構成（4 視点）においてベースライン手法より優れた再構成品質を示し、PSNR 30.05、SSIM 0.906、LPIPS 0.052、INF time 0.11s、リアルタイムレンダリング。
• より多くのビューを使用するベースラインと比較して、GRM は高い忠実度と高速推論を実現し、再構成時間を大幅に短縮。
• 単一画像からの 3D ジェネレーションでは、GRM は PSNR、SSIM、LPIPS、CLIP、FID のいずれでも関連するガウスベースおよび非ガウスベース手法を上回り、推論は高速な (~5s)。
• マルチビュー拡散ヘッドを用いたテキストから3D 生成では、GRM は CLIP ベースの指標とユーザー好みで競合し、最適化ベースの手法よりもはるかに高速（8s）である。
• アブレーション研究は、トランスフォーマー基盤のアップサンプラー、ピクセルに整列したガウス、およびアルファ正則化がそれぞれより高い PSNR/SSIM と低い LPIPS に寄与することを示す。深度予測は XYZ のみの回帰よりジオメトリの忠実度で優れる。