[論文レビュー] MagicEdit: High-Fidelity and Temporally Coherent Video Editing

Jun Hao Liew, Hanshu Yan+3 more|arXiv (Cornell University)|Aug 28, 2023

Video Analysis and Summarization被引用数 11

ひとこと要約

MagicEdit は、トレーニング時にコンテンツ、構造、モーションを明示的に分離することで高忠実度・時間的一貫性のあるテキスト誘導ビデオ編集を実現し、スタイライズ、局所編集、video-MagicMix、アウトペインティングなどの多様なタスクを可能にする。

ABSTRACT

In this report, we present MagicEdit, a surprisingly simple yet effective solution to the text-guided video editing task. We found that high-fidelity and temporally coherent video-to-video translation can be achieved by explicitly disentangling the learning of content, structure and motion signals during training. This is in contradict to most existing methods which attempt to jointly model both the appearance and temporal representation within a single framework, which we argue, would lead to degradation in per-frame quality. Despite its simplicity, we show that MagicEdit supports various downstream video editing tasks, including video stylization, local editing, video-MagicMix and video outpainting.

研究の動機と目的

• アクセスしやすく高品質なビデオ編集ツールの必要性を喚起する。
• コンテンツ、構造、モーションを分離するトレーニング戦略を紹介し、フレームごとの忠実度と時間的整合性を向上させる。
• 分離学習が複数の下流ビデオ編集タスクを可能にすることを示す。
• フレームごとの品質を低下させる結合モデル手法に対する実用的な利点を示す。
• 柔軟なスタイル転送のためのパーソナライズド拡散モデルとの互換性を強調する。

提案手法

• テキストプロンプト c と構造 s に条件付けられた生成モデル p(x|c,s) を学習する形でビデオ編集を定式化する。
• Stage I: 基本のテキストから画像への拡散モデルを訓練し、フレームを c と一致させる（ベースとして stable-diffusion-v1-5 を使用）。
• Stage II-A: 構造条件付きモジュールを訓練する（ベース UNet を凍結）と、ControlNet 型の指示に従ってフレーム構造を追従させる。
• Stage II-B: モーションモジュールを訓練する（ベース UNet を凍結）と、素の時間的トランスフォーマーを用いて時間的一貫性を保証する。
• 推論は3つの別々に訓練されたモジュールを組み合わせ、スタイルを変える際には基盤の T2I 重みを任意に入れ替える。
• トレーニングは、フレームごとの品質を保持しつつ時間的一貫性を達成するために段階的アプローチに依存する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ、構造、モーションの明示的な分離は、ビデオ編集においてフレームごとの忠実度を高めつつ時間的一貫性を維持できるか？
• RQ2 映像編集における画像品質を維持する上で、結合モデリングよりも段階的なトレーニング戦略がより効果的か？
• RQ3 本手法は、スタイライズ、局所編集、video-MagicMix、アウトペインティングといった多様なタスクをどの程度サポートできるか？

主な発見

• トレーニング中にコンテンツ、構造、モーションを分離することで、高忠実度かつ時間的一貫性のあるビデオ編集を生み出す。
• 本手法は、ビデオスタイライズ、局所編集、video-MagicMix、ビデオアウトペインティングなど多様なタスクをサポートする。
• 構造とモーションの訓練中、基本のテキストツーイメージモデルは凍結されたままであり、ビデオデータの制約からフレームごとの品質を保護する。
• 推論は3つのモジュールが別々に訓練され、異なるスタイル用に入れ替え可能であるため、効率的である。