[論文レビュー] MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation

Hanshu Yan, Jun Hao Liew+3 more|arXiv (Cornell University)|Sep 2, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

MagicProp は、編集を外見の編集と動きに配慮した外見伝播に分離する、拡散モデルに基づく動画編集フレームワークです。画像拡散モデルを用いて編集された参照フレームを用い、動きの手がかりと参照外見を統合する条件付き拡散モデル（PropDPM）を自己回帰的に用いて以降のフレームを生成することで、高い時間的整合性と最小限のアーチファクトを伴う柔軟な領域別編集を実現します。

ABSTRACT

This paper addresses the issue of modifying the visual appearance of videos while preserving their motion. A novel framework, named MagicProp, is proposed, which disentangles the video editing process into two stages: appearance editing and motion-aware appearance propagation. In the first stage, MagicProp selects a single frame from the input video and applies image-editing techniques to modify the content and/or style of the frame. The flexibility of these techniques enables the editing of arbitrary regions within the frame. In the second stage, MagicProp employs the edited frame as an appearance reference and generates the remaining frames using an autoregressive rendering approach. To achieve this, a diffusion-based conditional generation model, called PropDPM, is developed, which synthesizes the target frame by conditioning on the reference appearance, the target motion, and its previous appearance. The autoregressive editing approach ensures temporal consistency in the resulting videos. Overall, MagicProp combines the flexibility of image-editing techniques with the superior temporal consistency of autoregressive modeling, enabling flexible editing of object types and aesthetic styles in arbitrary regions of input videos while maintaining good temporal consistency across frames. Extensive experiments in various video editing scenarios demonstrate the effectiveness of MagicProp.

研究の動機と目的

• 柔軟で領域特化型の動画編集を実現する一方で、時間的整合性を維持する課題に対処すること。
• 動画編集を二段階に分離する：外見の編集と動きに配慮した伝播により、柔軟性と整合性のバランスを図ること。
• 強力な画像編集技術を用いて、前景、背景、またはグローバルな領域を任意に編集可能にすること。
• 外見の忠実性と動きの整合性をフレーム間で保つ条件付き拡散モデルを開発すること。
• 編集性と整合性の両方を犠牲にしている既存手法の限界を克服すること。

提案手法

• 入力動画から1つの参照フレームを選択し、テキストプロンプトやセグメンテーションマスクなどの画像編集技術を用いてそのコンテンツやスタイルを変更する。
• 参照フレーム、動きシーケンス（例：深度マップ）、および直前のフレームを条件として、自己回帰的拡散モデル PropDPM を用いて残りのフレームを生成する。
• 参照フレームのクラスレベル（CLIP）およびピクセルレベル（VAE）の特徴を、拡散モデルのクロスアテンション層に注入するための軽量な外見アダプタを設計する。
• 学習と推論の間でノイズスケジュールを一致させるために、ゼロ端末信号対ノイズ比（SNR）学習戦略を採用し、色のずれを低減し、視覚的品質を向上させる。
• WebVid-10M とプライベートな高解像度動画データセットの組み合わせを用いて PropDPM を学習し、自己回帰的学習のためのフレームの三つ組（参照、直前、ターゲット）を用いる。
• 深度マップやセグメンテーションマスクなどの制御信号を活用して、空間的な編集を正確にガイドしながらも、動きの整合性を維持する。

Figure 1: Video editing via MagicProp: global, background, and foreground editing are all supported.

実験結果

リサーチクエスチョン

• RQ1 画像編集と自己回帰的拡散モデルを組み合わせた二段階フレームワークは、動画編集において高い編集性と強力な時間的整合性を両立できるか？
• RQ2 参照外見と動きの手がかりに条件付けられた拡散モデルは、フレーム間で視覚的忠実性をどれほど効果的に保てるか？
• RQ3 ゼロ端末 SNR 学習スケジュールは、生成フレームと参照フレームの間の色とスタイルの整合性をどの程度向上させるか？
• RQ4 提案された外見アダプタは、意味的特徴とピクセルレベル特徴をどれほど効果的に統合し、正確な外見伝達を可能にするか？
• RQ5 自己回帰的拡散アプローチを用いた場合、許容できる品質で編集可能な動画の長さの上限はどの程度か？

主な発見

• MagicProp は、複数のオブジェクトやスタイルの転送を含む複雑な編集に対しても、高い品質と強い時間的整合性を達成する。
• ゼロ端末 SNR 学習戦略により、色のずれアーチファクトが顕著に低減され、標準的な DDPM ノイズスケジュールに比べて視覚的忠実性が向上する。
• 外見アダプタは、CLIPに基づく意味的トークンと VAEに基づくピクセル特徴を効果的に融合し、生成フレームへの正確な外見伝達を可能にする。
• フレームワークは、テキストプロンプトやセグメンテーションマスクを用いて、前景、背景、またはグローバルな領域を柔軟に編集可能である。
• 30フレームまでの動画では高い視覚的品質を維持できるが、それ以上になると自己回帰的誤差の蓄積により、過剰に滑らかになる現象やアーチファクトが顕在化する。
• 広範な実験により、MagicProp が、編集性と時間的整合性の両面で、既存の画像ベースおよびシーケンスベースの動画編集手法を上回ることを示している。

Figure 2: The pipeline of MagicProp.