[論文レビュー] Video-P2P: Video Editing with Cross-attention Control

Shaoteng Liu, Yuechen Zhang+3 more|arXiv (Cornell University)|Mar 8, 2023

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

Video-P2P は、事前学習済みの画像拡散モデルを適応させ、実世界のビデオのテキスト駆動編集を交差注意機構で制御できるようにし、局所・全体の編集を実現するとともに、時間的一貫性を改善します。

ABSTRACT

This paper presents Video-P2P, a novel framework for real-world video editing with cross-attention control. While attention control has proven effective for image editing with pre-trained image generation models, there are currently no large-scale video generation models publicly available. Video-P2P addresses this limitation by adapting an image generation diffusion model to complete various video editing tasks. Specifically, we propose to first tune a Text-to-Set (T2S) model to complete an approximate inversion and then optimize a shared unconditional embedding to achieve accurate video inversion with a small memory cost. For attention control, we introduce a novel decoupled-guidance strategy, which uses different guidance strategies for the source and target prompts. The optimized unconditional embedding for the source prompt improves reconstruction ability, while an initialized unconditional embedding for the target prompt enhances editability. Incorporating the attention maps of these two branches enables detailed editing. These technical designs enable various text-driven editing applications, including word swap, prompt refinement, and attention re-weighting. Video-P2P works well on real-world videos for generating new characters while optimally preserving their original poses and scenes. It significantly outperforms previous approaches.

研究の動機と目的

• 拡散モデルを用いて実世界のビデオのテキスト駆動編集を可能にする動機付け。
• フレーム間の時間的一貫性を維持する inversion および attention-control パイプラインを開発。
• 周囲のコンテンツを変更せずに局所的な編集（例：単語置換）を実現する機構を提案。
• 実映像上での実用性と有効性を実証し、既存手法と比較。

提案手法

• 事前学習済みの画像拡散モデルを Text-to-Set (T2S) モデルに変換して、フレーム一貫性のある inversion を可能にする。
• 低メモリコストで正確なビデオ inversion を達成するために共用 unconditional embedding を最適化。
• ソースプロンプトとターゲットプロンプトで異なるガイダンスを用い、それらのアテンションマップを融合する、デカップルド・ガイダンスのアテンション制御戦略を導入。
• T2S モデルのフレームアテンションと時間的アテンションを微調整してビデオ inversion をサポート。
• 推論時にアテンションマップを入れ替えまたは洗練させてプロンプト間編集を実行。
• ポーズとシーンを保持しつつ、単語置換・プロンプトの洗練・アテンション再重み付けを可能にするクロスアテンション制御を適用。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの画像拡散モデルを適応させて、詳細で時間的に整合性のある動画編集を行えるだろうか？
• RQ2 inversion と attention control を、再構成と編集可能性の両方をサポートするように、動画設定でどのように設計できるか。
• RQ3 ソースプロンプトとターゲットプロンプトに別々のガイダンスを使用することは、動画におけるクロスアテンション編集の品質を向上させるか。
• RQ4 関連しない領域や時間的一貫性を損なうことなく、局所的な編集はどの程度実現できるか。

主な発見

• Video-P2P はクロスアテンション制御を用いた局所および全体の動画編集を可能にする。
• 動画 inversion のための共通 unconditional embedding は、メモリコストを小さく抑えつつ再構成品質を改善する。
• ソース最適化済みとターゲット初期化埋め込みを組み合わせたデカップルド・ガイダンス戦略は、編集可能性と安定性を高める。
• 2つのブランチからのアテンションマップを取り入れると、編集品質と時間的一貫性が向上する。
• Video-P2P は定性的およびユーザー調査で、従来手法よりも元のポーズやシーンの保持性が優れていることを示す。
• 定量分析は、他の代替手法と比較してフレーム間の構造保持と意味的一貫性の改善を示す。