[論文レビュー] Large-Vocabulary 3D Diffusion Model with Transformer

Ziang Cao, Fangzhou Hong+3 more|arXiv (Cornell University)|Sep 14, 2023

3D Shape Modeling and AnalysisEngineering被引用数 3

ひとこと要約

本論文では、大規模な語彙をカバーする3Dオブジェクト生成を目的とした、3Dアウェアなトランスフォーマーを備えたトライプレーンベースの3D拡散モデルDiffTFを提案する。共有クロスプレーンアテンションと3Dアウェアなエンコーダ/デコーダを活用し、一般化されたおよび特化した3D特徴を抽出することで、OmniObject3Dの216種類の多様な現実世界のカテゴリで最先端の性能を達成し、高い幾何学的・テクスチャ的忠実度を実現した。

ABSTRACT

Creating diverse and high-quality 3D assets with an automatic generative model is highly desirable. Despite extensive efforts on 3D generation, most existing works focus on the generation of a single category or a few categories. In this paper, we introduce a diffusion-based feed-forward framework for synthesizing massive categories of real-world 3D objects with a single generative model. Notably, there are three major challenges for this large-vocabulary 3D generation: a) the need for expressive yet efficient 3D representation; b) large diversity in geometry and texture across categories; c) complexity in the appearances of real-world objects. To this end, we propose a novel triplane-based 3D-aware Diffusion model with TransFormer, DiffTF, for handling challenges via three aspects. 1) Considering efficiency and robustness, we adopt a revised triplane representation and improve the fitting speed and accuracy. 2) To handle the drastic variations in geometry and texture, we regard the features of all 3D objects as a combination of generalized 3D knowledge and specialized 3D features. To extract generalized 3D knowledge from diverse categories, we propose a novel 3D-aware transformer with shared cross-plane attention. It learns the cross-plane relations across different planes and aggregates the generalized 3D knowledge with specialized 3D features. 3) In addition, we devise the 3D-aware encoder/decoder to enhance the generalized 3D knowledge in the encoded triplanes for handling categories with complex appearances. Extensive experiments on ShapeNet and OmniObject3D (over 200 diverse real-world categories) convincingly demonstrate that a single DiffTF model achieves state-of-the-art large-vocabulary 3D object generation performance with large diversity, rich semantics, and high quality.

研究の動機と目的

• 多数の多様な現実世界カテゴリにわたる高品質な3Dオブジェクト生成の課題に対処すること。
• 従来の単一カテゴリまたは狭い語彙に限定された3D生成モデルの限界を克服すること。
• 忠実度と計算コストのバランスを取った効率的で表現力豊かな3D表現を開発すること。
• 一般化された3D知識と特化した特徴を統合し、極めて多様な幾何学的・テクスチャ的変動に対処すること。
• 多様な3Dオブジェクト生成を可能にする、滑らかで意味的に整合性のある潜在空間の補間を実現すること。

提案手法

• 適合速度、正確性、収束安定性の向上を目的として、正規化および全変動正則化を施した見直し済みトライプレーン表現を採用する。
• 各プレーン間で共有されるクロスプレーンアテンションを備えた3Dアウェアなトランスフォーマーを提案し、プレーン間で一般化された3D知識を抽出するとともに、カテゴリ固有の特徴と統合する。
• 特徴エンコーディング中に3D空間的関係を保持する3Dアウェアなエンコーダ/デコーダを設計し、意味的・幾何的認識を強化する。
• トライプレーン特徴を学習対象としたフィードフォワード拡散フレームワークを用い、高品質な幾何構造と写真同等のテクスチャを持つ3Dオブジェクトをエンドツーエンドで生成する。
• 訓練の安定化と生成品質の向上を図るため、トライプレーン特徴に強い正則化および分布制約を適用する。
• 明示的なトライプレーン特徴と暗黙の拡散モデリングを組み合わせたハイブリッド3D表現を活用し、効率的で高忠実度の生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの生成モデルが、パイナップルやピタヤなど複雑なオブジェクトを含む200以上の現実世界カテゴリにおいて、高い幾何的・テクスチャ的忠実度で多様な3Dオブジェクトを効果的に生成できるか？
• RQ2 極めて多様なカテゴリレベルの変動に対処するため、一般化された3D知識を効果的に抽出し、特化した特徴と統合する方法は何か？
• RQ3 標準的な2D自己アテンションと比較して、トライプレーンプレーン間の3Dアウェアアテンションは、特徴表現をどの程度向上させるか？
• RQ4 トライプレーンの正規化および正則化は、3D拡散生成の安定性と品質にどのような影響を与えるか？
• RQ5 モデルの潜在空間は、多様な3Dオブジェクト間で滑らかで意味的に整合性のある補間を可能にするか？

主な発見

• DiffTFは、パイナップルやピタヤを含む複雑なオブジェクトを含む216種類の多様な現実世界カテゴリをカバーするOmniObject3Dベンチマークで最先端の性能を達成した。
• OmniObject3Dにおいて、DiffTFはFréchet Inception Distance (FID) 25.36およびKID 0.8%を達成し、先行手法を顕著に上回った。
• アブレーションスタディの結果、トライプレーンの正規化および正則化によりFIDが125.21から52.35に低下し、モデルの安定性と品質に果たす重要性が明確に示された。
• クロスプレーンアテンションを備えた3Dアウェアなトランスフォーマーは、ベースラインと比較してFIDを13.78ポイント改善し、一般化された3D知識を効果的に捉える有効性が裏付けられた。
• 定性的な結果から、生成されたオブジェクトは洗練された意味的詳細、現実的なテクスチャ、トポロジカルに整合性のある幾何構造を有しており、極めて複雑なカテゴリに対しても同様に優れた性能を示した。
• 潜在空間の補間により、多様なオブジェクト間で意味的に滑らかな遷移が得られ、モデルが分離可能で意味のある表現を学習していることが確認された。