[論文レビュー] Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation

Zibo Zhao, Zhiping Lai+72 more|ArXiv.org|Jan 21, 2025

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

Hunyuan3D 2.0 は、形状を ShapeVAE を用いた Hunyuan3D-DiT、テクスチャを Hunyuan3D-Paint とする2段階のシステムを提示し、幾何とテクスチャ品質の点で従来手法を上回り、高解像度のテクスチャ付き3D資産を生成します。

ABSTRACT

We present Hunyuan3D 2.0, an advanced large-scale 3D synthesis system for generating high-resolution textured 3D assets. This system includes two foundation components: a large-scale shape generation model -- Hunyuan3D-DiT, and a large-scale texture synthesis model -- Hunyuan3D-Paint. The shape generative model, built on a scalable flow-based diffusion transformer, aims to create geometry that properly aligns with a given condition image, laying a solid foundation for downstream applications. The texture synthesis model, benefiting from strong geometric and diffusion priors, produces high-resolution and vibrant texture maps for either generated or hand-crafted meshes. Furthermore, we build Hunyuan3D-Studio -- a versatile, user-friendly production platform that simplifies the re-creation process of 3D assets. It allows both professional and amateur users to manipulate or even animate their meshes efficiently. We systematically evaluate our models, showing that Hunyuan3D 2.0 outperforms previous state-of-the-art models, including the open-source models and closed-source models in geometry details, condition alignment, texture quality, and etc. Hunyuan3D 2.0 is publicly released in order to fill the gaps in the open-source 3D community for large-scale foundation generative models. The code and pre-trained weights of our models are available at: https://github.com/Tencent/Hunyuan3D-2

研究の動機と目的

• 高解像度のテクスチャ付き3D資産の自動生成に取り組む。
• 形状とテクスチャ生成を分離して品質と柔軟性を向上させる。
• 大規模拡散トランスフォーマーと幾何事前情報を活用して条件適合性とテクスチャのリアリズムを高める。
• デザイナーと開発者のための使いやすい生産プラットフォーム（Hunyuan3D-Studio）を提供する。

提案手法

• 2段階の生成パイプライン：形状は Hunyuan3D-DiT（形状）、続いてテクスチャマップ合成は Hunyuan3D-Paint（テクスチャ）。
• 形状モデル：Latent3Dトークン化のための ShapeVAE、重要度サンプリングを用い、VAE潜在空間で動作するフロー型拡散トランスフォーマー（flow matching objective）。
• テクスチャモデル：ダブルストリームの画像 conditioning を用いたメッシュ条件付きマルチビュー生成、複数ビューと幾何 conditioning、密視点推論によるテクスチャベーキング段階。
• テクスチャの前処理： White-light 照明によりイルミネーション不変のテクスチャ合成を可能にするための image delighting。
• viewpoint 戦略：幾何学認識に基づく 8–12 視点を貪欲法で選択し、テクスチャ生成をガイド。
• 学習詳細：Stable Diffusion 2.x から微調整、512x512 で 80k ステップ、学習率 5e-5；テキスト-および画像からのテクスチャ条件付け（ControlNet, IP-Adapter）を活用。

実験結果

リサーチクエスチョン

• RQ1 2 段階のオープンソース基盤モデルアプローチは、画像プロンプトに整合した高忠実度・高解像度の3D形状とテクスチャを生み出せるか？
• RQ2 形状とテクスチャ生成を分離することは、エンドツーエンド手法と比較して幾何詳細、テクスチャのリアリズム、マルチビューの一貫性を改善するか？
• RQ3 幾何 priors とマルチビュー conditioning が生成資産のテクスチャの滑らかさとビュー一貫性にどう影響するか？
• RQ4 従来ベースラインより改善を示す知覚的・タスク指向指標（CLIPベース、FID、CMMD、LPIPS）は何か？
• RQ5 専門家とアマチュアの両方がテクスチャ付き3D資産を効率的に作成・操作できる実用的な生産プラットフォームはあるか？

主な発見

手法	V-IoU (↑)	S-IoU (↑)	備考
3DShape2VecSet	87.88%	80.66%	再構成ベースライン
Michelangelo	84.93%	76.27%
Direct3D	88.43%	81.55%
Hunyuan3D-ShapeVAE	93.6%	89.16%	提案手法
ULIP-T
ULIP-I
Uni3D-T
Uni3D-I
Hunyuan3D-DiT			形状生成
TEXTure
Text2Tex
SyncMVD
Paint3D
TexPainter
Hunyuan3D-Paint			テクスチャ合成

• Hunyuan3D-ShapeVAE は、ベースラインと比較して形状再構成 IoU (V-IoU) およびほぼ表面 IoU (S-IoU) が優れる。
• Hunyuan3D-DiT は最も強い条件追従スコア（ULIP-T/I、Uni3D-T/I）と穴のない素のメッシュを実現。
• Hunyuan3D-Paint は CMMD、FID_CLIP、CLIP-score、LPIPS 指標においてベースラインと比較して最高のテクスマップ品質を提供。
• Hunyuan3D 2.0 で生成されたテクスチャ付き3D資産は、プロンプトに対する総合的な画像ベースの類似性と意味的適合性が最も高い（さまざまな CLIP ベース指標）。
• ユーザ研究（50名、300結果）では、Hunyuan3D 2.0 が画像条件の適合と知覚品質の点で比較法を上回ることを示した。