[論文レビュー] MagicAvatar: Multimodal Avatar Generation and Animation

Jianfeng Zhang, Hanshu Yan+3 more|arXiv (Cornell University)|Aug 28, 2023

Human Motion and Animation被引用数 5

ひとこと要約

MagicAvatarは、マルチモーダルなアバター生成とアニメーションのための2段階フレームワークを提案する。テキスト、動画、音声などのマルチモーダル入力を動きの信号に分離し、高精細で時間的に整合性のあるアバタービデオを生成する。テキストおよび動画ガイド付きのアバター作成を可能にし、DreamBooth微調整を用いて少数の画像でアバターをパーソナライズし、高い視覚的忠実性とアイデンティティの一貫性を実現した。

ABSTRACT

This report presents MagicAvatar, a framework for multimodal video generation and animation of human avatars. Unlike most existing methods that generate avatar-centric videos directly from multimodal inputs (e.g., text prompts), MagicAvatar explicitly disentangles avatar video generation into two stages: (1) multimodal-to-motion and (2) motion-to-video generation. The first stage translates the multimodal inputs into motion/ control signals (e.g., human pose, depth, DensePose); while the second stage generates avatar-centric video guided by these motion signals. Additionally, MagicAvatar supports avatar animation by simply providing a few images of the target person. This capability enables the animation of the provided human identity according to the specific motion derived from the first stage. We demonstrate the flexibility of MagicAvatar through various applications, including text-guided and video-guided avatar generation, as well as multimodal avatar animation.

研究の動機と目的

• バーチャルリアリティ、ゲーム、ソーシャルメディアにおける初心者ユーザーが困難を抱える複雑で時間がかかるアバタービデオ生成パイプラインの課題に対処すること。
• テキスト、動画、音声などの共起するマルチモーダル入力と動き・外見がペairedされたデータセットを収集することが難しいという課題を克服すること。
• マルチモーダル入力の翻訳とビデオ生成を分離することで、柔軟なアバター作成を可能にし、トレーニング効率とモデルの汎化能力を向上させること。
• 少数の画像（5枚程度）を用いて特定の人物のアイデンティティを統合することで、生成されたビデオ全体にわたってアイデンティティの一貫性を保証するパーソナライズドアバターのアニメーションを可能にすること。
• 高視覚的リアリズムと時間的整合性を備えた、テキストガイド、動画ガイド、マルチモーダルなアバターアニメーションアプリケーションへの汎用性を示すこと。

提案手法

• アバタービデオ生成を2段階に分解する：(1) マルチモーダル入力（テキスト、動画、音声）を動きの信号（例：ポーズ、深度、DensePose）に変換する「マルチモーダル→動き」段階、(2) これらの信号を用いてビデオ生成を行う「動き→ビデオ」段階。
• テキスト→動きにはMDM、動画→動きにはMiDaSやOpenPoseを活用し、モジュール式かつスケーラブルな入力処理を実現する。
• MagicEditをコアの「動き→ビデオ」生成器として採用し、トレーニング時にコンテンツ、構造、動きを分離することで、高精細で時間的に整合性のあるビデオ合成を実現する。
• 対象者の5枚の画像を用いてDreamBoothモデルを500ステップ微調整することで、生成プロセスに被写体のアイデンティティを統合し、生成フレーム全体にわたってアイデンティティを保持する。
• 動きの信号に加え、外見と背景を説明するテキストプロンプトを条件として用いることで、制御可能で多様なアバタービデオ出力を可能にする。
• 最初の段階で複数の入力モダリティを独立して処理可能であり、共同マルチモーダルデータセットの必要性を回避し、データ収集とモデルトレーニングの簡素化を実現する。

実験結果

リサーチクエスチョン

• RQ1 2段階フレームワークは、マルチモーダル入力の翻訳とアバタービデオ生成を効果的に分離することで、トレーニング効率とモデルの汎化能力を向上させることができるか？
• RQ2 テキスト、動画、音声など多様な入力から得られる動きの信号が、高精細で時間的に整合性のあるアバタービデオを生成するためにどれほど有効に使えるか？
• RQ3 被写体の少数の画像（例：5枚）を用いて、生成されたアバターアニメーションにおいてアイデンティティの一貫性を維持できるか、その範囲はどの程度か？
• RQ4 テキストガイド、動画ガイド、マルチモーダルなアバター生成アプリケーションに柔軟に対応でき、一貫した視覚的品質を実現できるか？
• RQ5 動きの生成とビデオ生成を分離することで、スパarsなまたは多様な入力モダリティからの学習の複雑さが軽減されるか？

主な発見

• 2段階アーキテクチャは、マルチモーダル入力処理とビデオ生成を成功裏に分離し、共起するマルチモーダルデータセットを必要としない、個別の事前学習モデルを各モダリティに適用可能にした。
• MDMを用いたテキスト→動き変換により得られた動き信号は、実際のアバターのアニメーションを可能にし、例として「a person is doing handstand」といったプロンプトによるテキストガイド生成で実証された。
• 動画ガイド付きのアバター生成は、ソース動画の複雑な動きを新しいアバターに効果的に転送でき、動きの忠実性を維持しながら、背景や外見のカスタマイズも可能である。
• DreamBooth微調整を5枚の画像で500ステップ実行することで、生成されたビデオフレーム全体にわたって被写体のアイデンティティが一貫して保持され、特定の人物の正確なアニメーションが可能となった。
• 本フレームワークは、テキストガイドアバター作成、動画駆動型アバター生成、マルチモーダルアニメーションなど多様な応用をサポートし、強力な視覚的リアリズムと時間的整合性を示した。
• MagicEditを「動き→ビデオ」のバックボーンとして採用することで、抽象的またはスパarsな入力からでも、一貫した構造と動きを有する高精細な出力を実現した。