[論文レビュー] LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation

Jiaxiang Tang, Zhaoxi Chen+4 more|arXiv (Cornell University)|Feb 7, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

LGMは、テキストまたは単一ビュー画像から5秒未塔で高解像度3Dコンテンツを生成する大規模なマルチビューGaussianモデルを提案する。非対称U-Netを用いてマルチビュー画像から3DGaussianを予測し、微分可能レンダリングによってそれらを統合する。本手法は、最大65,536個のGaussianを用い、512×512のトレーニング解像度を達成し、従来のフォワードパス3D生成モデルと比較して顕著に解像度と速度が向上する。

ABSTRACT

3D content creation has achieved significant progress in terms of both quality and speed. Although current feed-forward models can produce 3D objects in seconds, their resolution is constrained by the intensive computation required during training. In this paper, we introduce Large Multi-View Gaussian Model (LGM), a novel framework designed to generate high-resolution 3D models from text prompts or single-view images. Our key insights are two-fold: 1) 3D Representation: We propose multi-view Gaussian features as an efficient yet powerful representation, which can then be fused together for differentiable rendering. 2) 3D Backbone: We present an asymmetric U-Net as a high-throughput backbone operating on multi-view images, which can be produced from text or single-view image input by leveraging multi-view diffusion models. Extensive experiments demonstrate the high fidelity and efficiency of our approach. Notably, we maintain the fast speed to generate 3D objects within 5 seconds while boosting the training resolution to 512, thereby achieving high-resolution 3D content generation.

研究の動機と目的

• 既存の3D生成モデルにおける低解像度トレーニングと高コストな計算の制限を克服すること。
• 高解像度3D生成におけるトライプレーンベースの表現やTransformerバックボーンの非効率性を克服すること。
• フォワードパスで、エンドツーエンドで学習可能なフレームワークを用いて、テキストまたは単一ビュー画像から高速かつ高忠実度の3D生成を実現すること。
• データ拡張を用いて、実写と合成マルチビュー画像間のドメインギャップに対する耐性を向上させること。
• 生成された3DGaussianに対して一般化可能なメッシュ抽出パイプラインを提供し、後続のアプリケーションに適応させること。

提案手法

• 本手法は、表現力と効率性に優れた3D表現としてマルチビューGaussian特徴を用い、コンactなシーン表現と高速レンダリングを可能にする。
• 非対称U-Netバックボーンがマルチビュー画像を処理し、3DGaussian特徴を予測する。深層部にはアテンションブロックを設け、クロスビュー特徴の統合を強化する。
• 微分可能レンダリングを適用し、高解像度の新規ビューを用いてモデルを監視することで、画像レベルの監視によるエンドツーエンド学習を可能にする。
• 本モデルは、事前学習済みのテキストから画像、または画像からマルチビューへの拡散モデルを活用し、テキストまたは1枚の画像から4つの入力ビューを生成する。
• 実写3Dレンダリングビューと拡散モデルから生成されたマルチビュー画像の間のドメインギャップを埋めるために、2つのデータ拡張戦略を導入する。
• 一般化可能なメッシュ抽出アルゴリズムにより、生成された3DGaussianを滑らかでテクスチャ付きのポリゴナルメッシュに変換し、標準的な3Dパイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 フォワードパス3D生成モデルは、512×512の高解像度出力と5秒未塔の推論速度を両立できるか？
• RQ2 非対称U-Netバックボーンを用いたマルチビューGaussian統合は、トライプレーンやNeRFベースの手法と比較して、幾何的・テクスチャ的詳細の保持にどの程度効果的か？
• RQ3 拡散モデルから生成された合成マルチビュー画像で学習する場合、データ拡張はどの程度の耐性向上をもたらすか？
• RQ4 提案手法は、テキストから3Dへの生成と画像から3Dへの生成の両タスクに高忠実度で一般化可能か？
• RQ5 3DGaussianは、実世界のアプリケーションに適した高品質でテクスチャ付きメッシュにどの程度うまく変換可能か？

主な発見

• LGMモデルは最大65,536個のGaussianポイントを生成でき、フォワードパス3D生成の解像度制限を顕著に引き上げた。
• 本モデルは約5秒で3Dコンテンツ生成を達成し、従来のフォワードパスモデルを上回る解像度を維持しながらも、高速性を確保した。
• ユーザー評価では、LGMが生成した3DGaussianは、ベースラインと比較して画像の一貫性と全体的な品質で好まれており、20名の被験者から600件の有効スコアが収集された。
• アブレーションスタディにより、マルチビュー入力が3D幾何再構築を向上させることを確認した。単一ビューモデルでは、背面がぼやけたり一貫性が欠けたりする。
• データ拡張は、マルチビュー画像合成におけるドメインギャップにもかかわらず、フロートアーチファクトや幾何的アーチファクトを顕著に低減し、3Dの一貫性を向上させた。
• メッシュ抽出アルゴリズムは、滑らかでテクスチャ付きのメッシュへの変換に成功し、標準的な3Dパイプラインとの互換性を実現した。