[論文レビュー] HeadSculpt: Crafting 3D Head Avatars with Text

Xiao Han, Yukang Cao+6 more|arXiv (Cornell University)|Jun 5, 2023

Face recognition and analysis被引用数 7

ひとこと要約

HeadSculpt は、ランドマークベースの ControlNet と学習された背面視点テキスト埋め込みを用いて 3D-aware ディフュージョンモデリングを活用することで、テキストプロンプトから高精細な 3D ヘッドアバターを生成・編集する、新たな粗大から細かい段階へのパイプラインを導入する。さらに、独自のアイデンティティに配慮したスコア蒸留（IESD）戦略により、アイデンティティを保持した細かい編集を可能とし、多様なスタイルや編集に対して、忠実度、編集精度、訓練安定性の面で従来手法を上回る。

ABSTRACT

Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.

研究の動機と目的

• 事前学習済み 2D ディフュージョンモデルを用いたテキストから 3D ヘッドを生成する際の 3D の意識不足と幾何的整合性の欠如を解決すること。
• プロンプトベースの編集による偏りと一貫性のない勾配の逆伝播により生じるアイデンティティの喪失と、編集制御の悪さを克服すること。
• 多様なアイデンティティとスタイルに一般化可能な、安定的で高精細な 3D ヘッドアバター生成・編集パイプラインを開発すること。
• 外見の変更を明示的に制御しつつアイデンティティを保持できる、細かい編集を可能にすること。

提案手法

• 事前学習済みテキストから画像へのディフュージョンモデルにランドマークベースの ControlNet を統合し、FLAME パラメトリックヘッドモデルを用いて 3D の意識を注入し、視点一貫性のあるヘッドジオメトリを強制する。
• テキストの逆転を活用して、背面の詳細に焦点を当てる専用の <back-view> トークンを学習し、ディフュージョン事前分布における前面視点バイアスを軽減する。
• 粗大から細かい段階の生成パイプラインを採用：まず、事前分布に基づくスコア蒸留を用いて NeRF を用いた 3D ヘッドを生成し、その後、テクスチャ付きメッシュで精錬する。
• アイデンティティに配慮したスコア蒸留（IESD）を提案。元の画像からのアイデンティティ保持勾配と、プロンプトからの編集固有の勾配を組み合わせ、メッシュ最適化をガイドする。
• 高解像度の微分可能レンダリングを用いてテクスチャ付きメッシュを最適化し、細かなディテールとリアルなテクスチャを実現する。
• 2段階の最適化を適用：まず粗大な NeRF 生成を行い、その後 IESD を用いた高精細なメッシュ精錬により、正確な編集制御を実現する。

Figure 2: Overall architecture of HeadSculpt. We craft high-resolution 3D head avatars in a coarse-to-fine manner. (a) We optimize neural field representations for the coarse model. (b) We refine or edit the model using the extracted 3D mesh and apply identity-aware editing score distillation if edi

実験結果

リサーチクエスチョン

• RQ1 ランドマーク制御と視点別テキスト埋め込みによる 3D-aware 条件付けは、テキストから 3D ヘッドを生成する際の幾何的整合性を向上させ、一般的な 'Janus' 問題を軽減できるか？
• RQ2 アイデンティティと編集目的を明示的にバランスさせるスコア蒸留戦略により、3D ヘッドアバターにおけるアイデンティティ保持編集が達成可能か？
• RQ3 複数のランダムシードと多様なプロンプトに対して、提案手法は従来の SDS ベースのテキストから 3D の手法と比較して、安定性と忠実度に優れているか？
• RQ4 アイデンティティの劣化を伴わず、多様なスタイル（例：ピクサー、クレイメーション、彫刻）および複雑な編集（例：老化、顔貌変更）に一般化できる程度はどの程度か？

主な発見

• HeadSculpt は、360° 全方向で優れた幾何的整合性と視覚的忠実度を達成し、ベースライン手法に共通する複数顔の 'Janus' 問題を解消した。
• 安定した訓練パフォーマンスを示し、ハイパーパrameterのチューニングやモデルの選び抜きを一切行わず、複数のランダムシードで高品質な結果を生成した。
• アイデンティティに配慮したスコア蒸留（IESD）により、老化、顔貌変更、スタイル移行などの正確でアイデンティティを保持した編集が可能となり、プロンプトベースの編集ベースラインを上回った。
• 定性的な比較では、DreamFusion*、Latent-NeRF、3DFuse、Fantasia3D* といった既存手法と比較して、特に複雑な編集シナリオにおいて、よりリアルなテクスチャとより細かな幾何的ディテールを生成した。
• シンプルなテキストプロンプトからも、スタイライズドアバター（例：頭骨、クレイメーション、木彫りの像）を高精細に生成でき、多様なアイデンティティとスタイルにわたって一貫性のある結果を示した。
• アブレーションスタディにより、ランドマークベースの制御と <back-view> トークンの両方が、幾何的歪みの低減と視点一貫性の向上に不可欠であることが確認された。

Figure 3: Generation results with various shapes. The first row shows three randomly sampled FLAME models, while the second row presents our generated results (incl. normals) using these FLAME models as initialization. All results are under the same text prompt.