[論文レビュー] Make-A-Protagonist: Generic Video Editing with An Ensemble of Experts

Yuyang Zhao, Enze Xie+3 more|arXiv (Cornell University)|May 15, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

Make-A-Protagonist は、テキストおよび視覚的手がかりを活用して、事前に学習済みで凍結された専門家をアンサンブルとして用いることで、ゼロショットでプロトコルを解析可能な汎用的な動画編集フレームワークを導入する。マスク誘導型ノイズ除去サンプリングと拡散ベースの動画生成モデルを組み合わせることで、高精細な編集を実現し、プロトコル置き換え、背景編集、テキストから動画への編集といったタスクにおいて、テキストのみまたは単一リファレンスの手法を上回る性能を発揮する。

ABSTRACT

The text-driven image and video diffusion models have achieved unprecedented success in generating realistic and diverse content. Recently, the editing and variation of existing images and videos in diffusion-based generative models have garnered significant attention. However, previous works are limited to editing content with text or providing coarse personalization using a single visual clue, rendering them unsuitable for indescribable content that requires fine-grained and detailed control. In this regard, we propose a generic video editing framework called Make-A-Protagonist, which utilizes textual and visual clues to edit videos with the goal of empowering individuals to become the protagonists. Specifically, we leverage multiple experts to parse source video, target visual and textual clues, and propose a visual-textual-based video generation model that employs mask-guided denoising sampling to generate the desired output. Extensive results demonstrate the versatile and remarkable editing capabilities of Make-A-Protagonist.

研究の動機と目的

• 既存のテキストのみまたは単一リファレンスの動画編集モデルが、記述しがたい、あるいはパーソナライズされたコンテンツを処理する際の制限を解消すること。
• テキストで簡単に記述できない個人のアイデンティティに置き換えることのできる、細かく制御可能な動画編集を可能にすること。
• 微調整やデータアノテーションの必要性を排除するため、事前に学習済みで凍結されたモデルを専門家として活用すること。
• 背景の構造や動きの忠実度を保ちながら、一貫性があり高品質な動画生成を実現すること。

提案手法

• プロトコルのテキスト的記述を抽出するために、動画のキャプション作成および動画質問応答に BLIP-2 を活用する。
• テキスト的記述からインスタンスマスクを生成することで、視覚的プロトコルの局所化およびフレーム間でのトラッキングを実現する。これに Grounded-SAM と XMem を用いる。
• CLIP Vision と DALL-E 2 Prior を用いて、視覚的およびテキスト的手がかりをエンコードし、画像およびテキストの埋め込みを生成する。
• 構造的一致性を維持するために、深度およびポーズの条件を統合した ControlNet を統合する。
• 拡散サンプリング中に視覚的およびテキスト的埋め込みとセグメンテーションマスクを統合するために、マスク誘導型ノイズ除去サンプリング戦略を採用する。
• テキストから画像への事前学習を初期化として用い、時間的モジュールを備えた事前学習済みの画像から動画への拡散モデルを活用して、編集済みの動画を生成する。

実験結果

リサーチクエスチョン

• RQ1 テキストのみではなく視覚的およびテキスト的手がかりを併用することで、微調整を必要とせずに、動画内のプロトコルを効果的に置き換えることができる汎用的動画編集フレームワークは、実際に有効に機能するか？
• RQ2 パーソナライズされた、識別が難しいプロトコルに対して、事前学習済みの専門家のアンサンブルは、微調整済みモデルと比較してどの程度優れているか？
• RQ3 標準的なテキストのみの編集と比較して、マスク誘導型ノイズ除去サンプリングは、編集の忠実度および一貫性をどの程度向上させるか？
• RQ4 プロトコル置き換えにとどまらず、背景編集やテキストから動画への編集といったタスクにおいて、このフレームワークはどの程度の性能を発揮するか？
• RQ5 事前学習済みモデルがこのような編集シナリオで導入する主な失敗モードやバイアスは何か？

主な発見

• Make-A-Protagonist は、テキスト埋め込みにうまく反映されないような普通の人物であっても、視覚的およびテキスト的手がかりを用いて動画内のプロトコルを編集可能であることを実証した。
• 微調整を一切行わず、多様な編集タスクにわたる強力なゼロショット一般化性能を示した。
• 定性的な比較において、DreamBooth-V はリファレンスのジェスチャーに過適合し、不自然な動きを生成するのに対し、Make-A-Protagonist は DINO スコアが低くてもより自然な動きの再現性を維持していることが明らかになった。
• 失敗事例から、ソース動画に過適合する傾向や、事前学習済みのテキストから画像へのモデルにバイアスが生じることが判明した。特に、「tiger」といったプロンプトが曖昧またはモデルの事前知識と一致しない場合に顕著だった。
• 「white tiger」といったより明確なプロンプトを用いることで、被写体の忠実度が向上し、中間的または歪んだ被写体の生成が顕著に減少した。