[論文レビュー] SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

Yuanyou Xu, Zongxin Yang+1 more|arXiv (Cornell University)|Dec 13, 2023

Computer Graphics and Visualization Techniques被引用数 5

ひとこと要約

SEEAvatarは、自己進化する制約を用いて幾何と外観を分離・強化する、写真のようにリアルなテキストから3Dアバターを生成する手法を提案する。グローバルな形状制御のための自己進化型テンプレートアバターと、局所的詳細のための静的ヒューマンプライアを組み合わせ、拡散ベースの外観モデリングに明度制約を適用することで、高精細なメッシュとテクスチャを生成し、古典的なグラフィックスパイプラインで写真のようにリアルなレンダリングを実現する。幾何と外観の両面で、先行手法を上回る性能を発揮する。

ABSTRACT

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://yoxu515.github.io/SEEAvatar/.

研究の動機と目的

• 既存のテキストから3Dアバター生成手法が示すグローバルな形状、局所的詳細、照明のリアルさの点で低品質な結果を生じるという限界を是正すること。
• 幾何と外観を分離し、エクスポート可能なメッシュとテクスチャとして出力可能な形で、物理ベースレンダリング（PBR）に対応する写真のようにリアルな3Dアバター生成を可能にすること。
• 進化するテンプレートアバターによるグローバル形状制御と、顔や手のような局所的特徴を捉える静的ヒューマンプライアによる二重制約システムにより、形状の忠実度と構造的詳細を向上させること。
• 拡散ベースの外観生成に明度制約を導入することで、アルベドテクスチャに埋め込まれた誤った照明効果を抑制し、PBRパイプラインに適したリアルなアルベド表現を確保すること。
• 拡散パイプラインにおけるプロンプト工学と均一スケーリングを用いて、アーティファクトと過剰な彩度を低減させ、外観品質を向上させること。

提案手法

• 自己進化型テンプレートアバターを用いて、符号付き距離関数（SDF）と法線制約を通じて、現在のアバターのグローバル形状を制約し、柔軟かつヒューマンプライアに適合した幾何生成を実現する。
• 最適化された現在のアバターを定期的に用いてテンプレートアバターを更新することで、衣装スタイルの異なる多様な形状に対しても適応可能でありながら、構造的整合性を維持する。
• 顔や手のような高精細領域における局所的幾何を制約するために、静的ヒューマンプライア（例：SMPL-X）を適用し、細粒度の構造的正確性を確保する。
• 外観生成には、テクスチャ品質と詳細の豊かさを向上させるために、ポジティブおよびネガティブプロンプト工学を強化した拡散モデルを用いる。
• PBRパイプラインに適したリアルなアルベド表現を確保するため、アルベドテクスチャに明度制約を適用し、焼き込まれた照明効果を抑制する。
• 拡散推論中に均一スケーリングを強制することで、深度次元のアーティファクトを防ぎ、テクスチャの一貫性と品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己進化型テンプレートアバターは、ヒューマンプライア制約を維持しつつ、テキストから3Dアバター生成におけるグローバル形状の忠実度と多様性を向上させることができるか？
• RQ2 柔軟な形状生成下でも、手や顔の特徴のような局所的幾何的詳細は、どのようにして保持されるか？
• RQ3 拡散モデルにおけるプロンプト工学と明度制約は、照明アーティファクトをどれほど低減させ、アルベドのリアルさを向上させることができるか？
• RQ4 分離された幾何と外観生成により、任意の照明条件下でもリアルレンダリングに対応できるPBR対応アセットを生成できるか？
• RQ5 SDFおよび法線制約は、分割されたDMTet表現における表面の滑らかさと高解像度メッシュ品質にどのように寄与するか？

主な発見

• SEEAvatarは、グローバルおよび局所的幾何の両面で最先端の性能を達成しており、人間評価ではすべての指標でDreamWaltzおよびTADAを大きく上回るスコアを示した。
• アブレーションスタディの結果、SDFおよび法線制約は、特に高解像度の四面体メッシュを用いる場合に、グローバル形状の維持と表面の滑らかさを確保するために不可欠であることが確認された。
• 進化するテンプレートアバターにより、元のSMPL-Xプライアを越えた多様な形状、例えばロングドレスやユニークなヘアスタイルのアバターの生成が可能になった。固定テンプレートではこれらの形状は失敗する。
• 明度制約により、誤ったスペキュラーなハイライトや非一様な照明効果が効果的に抑制され、より正確でリアルなPBR素材が得られた。
• ネガティブプロンプトと均一スケーリングにより、過剰な彩度とストライプ状のアーティファクトが低減され、外観のリアルさとテクスチャの一貫性が向上した。
• 高品質なメッシュとテクスチャを有する生成アバターは、Blenderその他のグラフィックスツールで直接リライト、ポーズ設定、写真のようにリアルなレンダリングに使用可能である。