Skip to main content
QUICK REVIEW

[論文レビュー] MeshXL: Neural Coordinate Field for Generative 3D Foundation Models

Sijin Chen, Xin Chen|arXiv (Cornell University)|May 31, 2024
Image Processing and 3D ReconstructionComputer Science被引用数 6
ひとこと要約

MeshXL は Neural Coordinate Field (NeurCF) を用いた自己回帰型の系列モデリングとして3Dメッシュ生成を定式化し、直接的で高忠実度な3Dメッシュ生成を実現するとともに、下流タスクの基盤モデルとして機能します。より大規模なモデルとデータでスケールすると性能と多様性が向上します。

ABSTRACT

The polygon mesh representation of 3D data exhibits great flexibility, fast rendering speed, and storage efficiency, which is widely preferred in various applications. However, given its unstructured graph representation, the direct generation of high-fidelity 3D meshes is challenging. Fortunately, with a pre-defined ordering strategy, 3D meshes can be represented as sequences, and the generation process can be seamlessly treated as an auto-regressive problem. In this paper, we validate the Neural Coordinate Field (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective representation for large-scale sequential mesh modeling. After that, we present MeshXL, a family of generative pre-trained auto-regressive models, which addresses the process of 3D mesh generation with modern large language model approaches. Extensive experiments show that MeshXL is able to generate high-quality 3D meshes, and can also serve as foundation models for various down-stream applications.

研究の動機と目的

  • 巨大規模の逐次モデリングのための、Neural Coordinate Field を単純で効果的なメッシュ表現として検証する。
  • 中間表現を介さず直接的な3Dメッシュ生成のための MeshXL 系列の Generative Pre-trained Transformers の開発。
  • 大規模事前学習とより大きなモデルサイズがメッシュ生成の品質と多様性を向上させることを示す。
  • X-to-mesh 生成(テキスト/画像条件付き)と3D基盤モデルとしての可能性を実証する。

提案手法

  • PolyGen と MeshGPT に触発された事前定義の頂点/面の順序付け戦略によって3Dメッシュを系列として表現する。
  • NeurCF で離散化された座標を学習可能な座標埋め込みでエンコードし、暗黙の埋め込みとともに明示的な空間表現を可能にする。
  • ShapeNet、3D-FUTURE、Objaverse および Objaverse-XL からの250万以上のメッシュを用いて、次トークン予測でデコーダー専用トランスフォーマー(MeshXL)を訓練する。
  • 事前学習済み OPT 重みから微調整する際、新しい座標埋め込みと位置埋め込みを初期化して、エンドツーエンドの MeshXL 訓練を実現する。
  • Q-Former のプレフィックスを介して画像/テキスト特徴を先頭に付けることで、X-to-mesh 生成を含む条件付き生成を有効にする。
Figure 1: MeshXL can auto-regressively generate high-quality 3D meshes. We validate that Neur al C oordinate F ield (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective sequence representation for large-scale mesh modelling.
Figure 1: MeshXL can auto-regressively generate high-quality 3D meshes. We validate that Neur al C oordinate F ield (NeurCF), an explicit coordinate representation with implicit neural embeddings, is a simple-yet-effective sequence representation for large-scale mesh modelling.

実験結果

リサーチクエスチョン

  • RQ1NeurCF は、直接的な3Dメッシュ生成のための効果的でスケーラブルな座標ベース表現を提供できるか?
  • RQ2大規模な3Dメッシュデータでの自己回帰 MeshXL の事前学習は、従来手法より高品質なメッシュを得られるか?
  • RQ3モデルサイズとデータスケールがメッシュ生成の品質と多様性をどの程度改善するか?
  • RQ4MeshXL は画像またはテキスト条件付きの3Dメッシュ生成(X-to-mesh)やテクスチャリングなどの下流タスクをサポートできるか?
  • RQ5MeshXL はさまざまな下流アプリケーションの3D基盤モデルとして機能できるか?

主な発見

  • NeurCF は、非構造的な3Dメッシュに対して自己回帰生成をサポートする、単純でエンドツーエンドの座標ベース表現を提供します。
  • パラメータ数が大きく、より多くの事前学習データを用いた MeshXL は、検証 perplexity をより良くし、メッシュの品質と多様性を向上させる。
  • MeshXL は ShapeNet カテゴリにおける無条件メッシュ生成で従来技術を上回る(多様性と品質指標の向上)。
  • MeshXL は VLM由来のプレフィックスを用いた画像またはテキストプロンプトを使った X-to-mesh 生成を実現し、条件付きの3Dメッシュ作成を可能にする。
  • 人間の評価では、MeshXL が生成したメッシュが幾何学とデザインの整合性でベースラインより好まれることが示された。
  • MeshXL は既存のテクスチャリング・パイプラインとの互換性を持つ、効果的なテクスチャ生成を実証する。
Figure 2: Mesh Representation. We present the Neur al C oordinate F ield (NeurCF) to encode the discretized coordinates in the Euclidean space. Benefiting from NeurCF and a pre-defined ordering strategy, our proposed MeshXL can directly generate the unstructured 3D mesh auto-regressively.
Figure 2: Mesh Representation. We present the Neur al C oordinate F ield (NeurCF) to encode the discretized coordinates in the Euclidean space. Benefiting from NeurCF and a pre-defined ordering strategy, our proposed MeshXL can directly generate the unstructured 3D mesh auto-regressively.

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。