[論文レビュー] AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars

Fangzhou Hong, Mingyuan Zhang+4 more|arXiv (Cornell University)|May 17, 2022

Human Motion and AnimationEngineering被引用数 18

ひとこと要約

AvatarCLIPは、自然言語の記述のみを用いて3次元アバターの生成とアニメーションを行うゼロショットでテキスト駆動のフレームワークを導入した。CLIPを視覚言語の監視に活用し、形状／運動のVAEとニューラルレンダリングを組み合わせることで、専門家による入力やペairedな訓練データが不要でありながら、高精細でアニメーション可能な3次元アバターを実現し、多様なテキストプロンプトに対して強力なゼロショット一般化を達成した。

ABSTRACT

3D avatar creation plays a crucial role in the digital age. However, the whole production process is prohibitively time-consuming and labor-intensive. To democratize this technology to a larger audience, we propose AvatarCLIP, a zero-shot text-driven framework for 3D avatar generation and animation. Unlike professional software that requires expert knowledge, AvatarCLIP empowers layman users to customize a 3D avatar with the desired shape and texture, and drive the avatar with the described motions using solely natural languages. Our key insight is to take advantage of the powerful vision-language model CLIP for supervising neural human generation, in terms of 3D geometry, texture and animation. Specifically, driven by natural language descriptions, we initialize 3D human geometry generation with a shape VAE network. Based on the generated 3D human shapes, a volume rendering model is utilized to further facilitate geometry sculpting and texture generation. Moreover, by leveraging the priors learned in the motion VAE, a CLIP-guided reference-based motion synthesis method is proposed for the animation of the generated 3D avatar. Extensive qualitative and quantitative experiments validate the effectiveness and generalizability of AvatarCLIP on a wide range of avatars. Remarkably, AvatarCLIP can generate unseen 3D avatars with novel animations, achieving superior zero-shot capability.

研究の動機と目的

• 専門的なソフトウェアや専門知識の必要性を排除することで、3次元アバター作成の民主化を図ること。
• 教師あり学習に適した高品質なテキスト条件付き3次元アバターデータセットの不足を解決すること。
• 自然言語のみを用いて、新しい3次元アバターと動きのゼロショット生成を可能にすること。
• ニューラルレンダリングと動きの事前分布を活用して、生成されたアバターが幾何学的に正確で、テクスチャがあり、アニメーション可能であることを保証すること。
• ペアドデータに依存するか、一般化性能が低い既存手法の限界を克服すること。

提案手法

• CLIP埋め込みによってガイドされたテキストから3次元人体形状を初期化する形状VAEを用いる。
• レンダリングされた画像にCLIPの監視を適用し、ニューラルレンダリングを通じてテクスチャと形状を最適化する。
• 最適化中にテンプレートメッシュの制約を課して、妥当な人体形状を維持する。
• CLIPガイド付きのリファレンスベース合成を用いて、テキストから動きの系列を生成する動きVAEを採用する。
• 潜在空間最適化により候補ポーズを生成し、CLIPベースのポーズ一貫性損失を用いてそれを精緻化する。
• 暗黙の表現から明示的なメッシュを抽出し、後続のアニメーションとレンダリングに活用する。

実験結果

リサーチクエスチョン

• RQ1 ペアド訓練データや専門家の入力が不要なゼロショットでテキスト駆動の方法が、ペアドデータなしに多様で高品質な3次元アバターを生成できるか？
• RQ2 レンダリングされた画像に適用されたCLIP監視が、3次元幾何学的形状とテクスチャ生成をどの程度効果的にガイドできるか？
• RQ3 動きVAEの事前分布とCLIPを組み合わせることで、動きとテキストのペアドデータがなくても、現実的でテキストに整合した動きの合成が可能か？
• RQ4 本手法は、未確認のアバターや複雑な動き記述に対してどの程度一般化できるか？
• RQ5 CLIPの固定されたテキスト符号化のため、同じプロンプトから多様な結果が生成できない制限は何か？

主な発見

• AvatarCLIPは優れたゼロショット一般化を達成し、自然言語プロンプトからの多様な形状、テクスチャ、動きを持つ新しい3次元アバターを生成した。
• 定性的な比較により、テキスト2メッシュやドリームフィールドと比較して顕著な優位性が確認され、高品質な幾何学的形状とテクスチャを生成した。
• 直接最適化やマルチモodalなReal NVPからのサンプリングと比較して、ユーザー調査のスコアが高く、動きの合成性能に優れた。
• 異なる乱数シードで複数回実行しても一貫した結果が得られ、テキスト2メッシュのような不安定なベースラインと比較して、堅牢性が確認された。
• 有名人の名前、フィクションのキャラクター、衣装や外見の詳細な記述など、多様な入力を効果的に処理できた。
• 複雑な動きや細かい制御が必要な場合に失敗ケースが発生し、分布外または非常にスタイリッシュな動作の生成に限界があることが示された。