[論文レビュー] MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

Yiwen Chen, Tong He+10 more|arXiv (Cornell University)|Jun 14, 2024

Computer Graphics and Visualization Techniques被引用数 7

ひとこと要約

MeshAnythingは、メッシュ抽出を、VQ-VAEと形状条件付きデコーダー専用のトランスフォーマーを用いた形状条件付きAM生成として再定義し、face数が大幅に少ないアーティスト作成メッシュを生成し、トポロジを洗練させる。さまざまな3Dパイプラインと統合され、効率を向上させる。

ABSTRACT

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.

研究の動機と目的

• 3D業界において、現在の自動メッシュがアーティスト作成メッシュ（AMs）を置換できない理由を強調する。
• 与えられた形状に適合した AM を生成する形状条件付きメッシュ生成フレームワークを提案する。
• 再構成や生成など、さまざまな3D資産生成パイプラインへのAM生成の統合を可能にする。
• 不完全なトークン列下でメッシュ生成品質を向上させるノイズ耐性デコーダを開発する。

提案手法

• VQ-VAEを用いてメッシュ語彙を学習し、この語彙上で形状条件付きデコーダーのみのトランスフォーマーを訓練する。
• 点群形状条件をエンコードして形状情報を注入し、メッシュトークン列の先頭にそのトークンを付加する。
• injected shape condition とノイズでVQ-VAEデコーダーをファインチューンし、不完全なトークン列への頑健性を向上させる。
• 形状キューをトランスフォーマー入力と互換性のある特徴へ変換するために、事前学習済みのポイントエンコーダーを使用する。
• メッシュ頂点座標に対するクロスエントロピー損失と、ベクトル量子化のコミットメント損失で訓練する。
• トポロジーと効率を評価するために、Marching CubesとRemeshのベースラインとMeshAnythingを比較する。

実験結果

リサーチクエスチョン

• RQ1 形状条件付き自己回帰モデルは、多様な3D形状に適合したアーティスト作成メッシュ（AMs）を生成できるか？
• RQ2 VQ-VAEデコーダーとトランスフォーマーの両方に形状条件を注入することで、ノイズのあるトークン列への頑健性が向上するか？
• RQ3 MeshAnythingは、トポロジーの品質と面数の点で伝統的なメッシュ抽出法とどう比較されるか？
• RQ4 限定カテゴリを超えて大規模で多様なデータセットへ一般化できるか？
• RQ5 形状への整合性、頂点/面数とのトレードオフにはどんな関係があるか？

主な発見

手法	CD (×10^-2) ↓	ECD (×10^-2) ↓	NC ↑	#V (×10^3) ↓	#F (×10^3) ↓	V_Ratio ↓	F_Ratio ↓
Marching Cubes	1.532	6.733	0.954	73.22	146.0	440.2	462.2
Remesh (0.005)	2.174	7.813	0.912	127.8	167.9	748.1	534.6
Remesh (0.010)	2.083	7.578	0.929	39.01	41.78	225.4	132.3
Remesh (0.030)	2.915	8.329	0.863	5.848	4.410	34.38	14.05
Remesh (0.050)	4.179	8.138	0.814	2.299	1.538	13.64	4.920
Remesh (0.100)	7.312	10.771	0.748	0.625	0.359	3.735	1.149
MeshAnything	2.256	6.245	0.902	0.172	0.318	0.888	0.871

• MeshAnythingは、密なメッシュ抽出ベースラインよりも数百倍少ない面数のAMを生成する。
• 形状条件付きのノイズ耐性デコーダーは、トークンノイズレベルの増加に伴いCD、ECD、NCを改善する。
• Marching CubesおよびRemeshと比較して、MeshAnythingははるかに少ない面数でより優れたEdge Chamfer Distanceを達成する。
• MeshAnythingは、真値の形状と同等の形状整合を持つメッシュを生成でき、時には真値より少ない面を持つ。
• 本手法は、より優れたECDを達成しつつ頂点数/面数を抑え、トポロジーの効率性を示している。
• このアプローチはObjaverseとShapeNetデータへスケール可能で、広範なカテゴリ一般化を可能にする。