[論文レビュー] ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model

Fukun Yin, Xin Chen+7 more|arXiv (Cornell University)|Nov 29, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

ShapeGPTは、3D形状、テキスト、画像を1つのシーケンス・ツー・シーケンスフレームワークに統合する包括的なマルチモーダル言語モデルを提案する。VQ-VAEから得られる形状トークンを用いて、3D形状をトークン化することで実現される。3段階の訓練スキームを経て、指示に基づく生成を活用することで、テキストから形状生成、形状編集、形状補完といった多様なタスクで最先端の性能を達成し、1つのアーキテクチャ内で強力な汎化性とマルチモーダル整合性を示している。

ABSTRACT

The advent of large language models, enabling flexibility through instruction-driven approaches, has revolutionized many traditional generative tasks, but large models for 3D data, particularly in comprehensively handling 3D shapes with other modalities, are still under-explored. By achieving instruction-based shape generations, versatile multimodal generative shape models can significantly benefit various fields like 3D virtual construction and network-aided design. In this work, we present ShapeGPT, a shape-included multi-modal framework to leverage strong pre-trained language models to address multiple shape-relevant tasks. Specifically, ShapeGPT employs a word-sentence-paragraph framework to discretize continuous shapes into shape words, further assembles these words for shape sentences, as well as integrates shape with instructional text for multi-modal paragraphs. To learn this shape-language model, we use a three-stage training scheme, including shape representation, multimodal alignment, and instruction-based generation, to align shape-language codebooks and learn the intricate correlations among these modalities. Extensive experiments demonstrate that ShapeGPT achieves comparable performance across shape-relevant tasks, including text-to-shape, shape-to-text, shape completion, and shape editing.

研究の動機と目的

• テキスト、画像、3D形状といった複数のモダリティを統合する統一的で指示駆動型の3D形状生成モデルの不足を解消すること。
• 形状生成、キャプション作成、編集を個別に処理するタスク特化型モデルの限界を克服すること。
• テキストから形状生成、形状編集、補完といった多様な形状関連タスクを1つの統合アーキテクチャで効果的に行える包括的フレームワークの開発。
• 形状固有のVQ-VAEを用いて3D形状を言語互換のトークン空間にマッピングすることで、柔軟で指示ガイドド生成を可能にすること。
• 形状、画像、テキスト表現を1つの言語モデル内で統一的に整列させるマルチモーダル事前学習および微調整パイプラインの確立。

提案手法

• 形状に特化したベクトル量子化変分オートエンコーダ（VQ-VAE）を用いて、3D形状を固定長の形状トークンに離散化し、言語モデルのトークン空間に統合可能にする。
• 視覚変換器と視覚言語パーセーバーを用いて画像を表現し、視覚特徴を言語モデルの潜在空間に整列させる。
• 形状トークン、テキスト記述、画像埋め込みを組み合わせてマルチモーダルパラグラフを構築し、エンドツーエンドのシーケンス・ツー・シーケンスモデリングのための統一シーケンスを形成する。
• 3段階の訓練スキームを実装する：(1) 基本的な形状生成とキャプション作成のための形状のみの事前学習、(2) 画像-形状-テキストトリプレットを用いたマルチモーダル微調整によるモダリティの整列、(3) タスク固有の振る舞いを学習するための指示ベース生成。
• マルチモーダルシーケンスを処理し、全タスクで統一フォーマットの出力を生成するため、T5-baseをコア言語モデルとして採用する。
• 生成キャプションと正解アノテーションの整列にCLIPを用いた対照的損失を適用し、形状補完および編集タスクでは再構成指標（IoU、CD、Fスコア）を用いる。

実験結果

リサーチクエスチョン

• RQ1 統一的マルチモーダル言語モデルは、1つのアーキテクチャでテキストから形状生成、形状からテキスト、形状編集、形状補完といった多様な3D形状生成タスクを効果的に処理できるか？
• RQ2 VQ-VAEによる形状トークンの統合は、言語モデルフレームワーク内での一貫性のある3D形状の学習および生成能力にどのように影響するか？
• RQ3 タスク特化型微調整と比較して、指示ベースの訓練は、複数の形状関連タスクにわたる汎化性をどの程度向上させるか？
• RQ4 形状-言語整列のための事前学習は、意味的かつ幾何学的に妥当な形状の生成能力にどのような影響を及えるか？
• RQ5 シーケンス長、モデルサイズ、事前学習の影響は、マルチモーダル3D生成タスクのパフォーマンスにどのように現れるか？

主な発見

• ShapeGPTは、テキストから形状生成、形状からテキスト、形状補完、形状編集の各タスクで最先端の性能を達成し、512トークン設定でIoUが0.570、CDが1.297、Fスコアが0.396を記録した。
• アブレーションスタディの結果、64トークン（4×4×4グリッド）よりも512トークン（8×8×8グリッド）の方が優れた性能を示し、解像度の向上が幾何学的忠実性を高めることを示した。
• T5-base（220Mパラメータ）を用いることで、T5-small（60Mパラメータ）を上回る性能を発揮した。これは、同じ訓練設定下でもモデル容量の増大が生成品質を向上させることを示している。
• 事前学習が顕著に性能を向上させることを確認した。事前学習を行わないモデルは、一貫性のある形状の生成やモダリティの整列が不可能であり、形状-言語文法の学習には不可欠であることが示された。
• 統一されたシーケンス・ツー・シーケンスフレームワークにより、アーキテクチャの変更なしにシームレスなタスク転送が可能であり、ShapeGPTが1つの推論パイプライン内で多様なタスクを処理できることを示した。
• 定量的評価では、ShapeGPTがすべての評価指標で非事前学習モデルおよびベースライン手法を上回り、3段階訓練スキームの有効性を確認した。