[論文レビュー] StableVideo: Text-driven Consistency-aware Diffusion Video Editing

Wenhao Chai, Xun Guo+2 more|arXiv (Cornell University)|Aug 18, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

StableVideoは、フレーム間伝搬と階層的アトラス表現を活用することで、編集対象オブジェクトの幾何学的・時間的整合性を確保するテキスト駆動型拡散モデルを用いた動画編集フレームワークを導入する。最先端の手法と比較して計算コストを低く抑えつつ、Tune-A-Video や Text2LIVE よりも質的・定量的に優れた編集性能を達成する。

ABSTRACT

Diffusion-based methods can generate realistic images and videos, but they struggle to edit existing objects in a video while preserving their appearance over time. This prevents diffusion models from being applied to natural video editing in practical scenarios. In this paper, we tackle this problem by introducing temporal dependency to existing text-driven diffusion models, which allows them to generate consistent appearance for the edited objects. Specifically, we develop a novel inter-frame propagation mechanism for diffusion video editing, which leverages the concept of layered representations to propagate the appearance information from one frame to the next. We then build up a text-driven video editing framework based on this mechanism, namely StableVideo, which can achieve consistency-aware video editing. Extensive experiments demonstrate the strong editing capability of our approach. Compared with state-of-the-art video editing methods, our approach shows superior qualitative and quantitative results. Our code is available at \href{https://github.com/rese1f/StableVideo}{this https URL}.

研究の動機と目的

• 拡散モデルを用いた動画編集における時間的整合性の欠如、特にフレーム間でのオブジェクト外観の不整合を是正すること。
• 視点の変化に伴い幾何学的歪みが生じる直接的アトラス編集の限界を克服すること。
• 前景および背景オブジェクトに対して高精度なテキスト駆動型編集を可能にするとともに、元の幾何学的形状と運動を保持すること。
• 既存の拡散モデルに基づく動画編集手法と比較して、計算コストを低減すること。

提案手法

• 部分的アトラス表現を用いて、キーフレーム間の外観を整列させるフレーム間伝搬メカニズムを導入し、幾何学的整合性を維持する。
• テキストプロンプトに基づいてキーフレームを編集するための拡散モデルを採用し、前回のフレームからの伝搬外観によってノイズ除去がガイドされる。
• キーフレームの編集から再構成されたアトラスを、すべての動画フレームに正確にマッピングするためにアグリゲーションネットワークを用いる。
• ニューラル階層アトラス（NLA）を活用して動画を前景・背景のレイヤーに分解し、オブジェクトレベルでの正確な編集を可能にする。
• フレーム間伝搬モジュールにおいてハイパーパrameter $ t_0 $ を導入し、現実性と外観整合性のバランスを最適化する。この最適化にはバイナリサーチが用いられる。
• 前景および背景の編集に同一の拡散バックボーンを共有することで、効率的かつスケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 長時間にわたる複雑な運動や視点変化を伴う動画シーケンスにおいて、テキスト駆動型拡散モデルが一貫した外観編集を達成できるか。
• RQ2 拡散モデルを用いて動画内の特定オブジェクトを編集する際、時間的整合性をどのように維持できるか。
• RQ3 フレーム間伝搬を用いたキーフレーム編集は、直接的アトラス編集に比べて視覚的忠実度と整合性において優れているか。
• RQ4 拡散モデルに基づく動画編集において、現実性と外観整合性の最適なトレードオフは何か。
• RQ5 事前学習済みの拡散モデルと階層的表現を組み合わせることで、軽量かつ一貫性のある動画編集フレームワークを構築できるか。

主な発見

• StableVideoはCLIPスコア0.2713を達成し、Tune-A-Video（0.2787）と同等の性能を示す一方で、LPIPS-P（0.1613 vs. 0.6346）およびLPIPS-T（0.0386 vs. 0.1851）において顕著に優れており、時間的整合性に優れていることが示された。
• 密なオプティカルフロー整合性評価において、StableVideoは前景編集で3.34、コンposite編集で11.48のスコアを達成し、Tune-A-Video（4.63および12.74）およびText2LIVE（1.99および7.39）を上回った。
• アブレーションスタディの結果、$ t_0 \approx 0.8 $ のフレーム間伝搬が現実性と外観整合性のバランスにおいて最良であることが確認された。
• 直接的アトラス編集は深刻な変形と整合性の欠如を引き起こし、キーフレーム編集に加えて伝搬を用いる必要性が示された。
• 「雪の降る冬のオレンジ色のSUV」の編集例から、長距離の運動や視点変化に対しても本手法は高い整合性を維持していることが示された。
• 非剛体変形の場合は失敗を示し、複雑なオブジェクトダイナミクスの処理における現在の限界が明らかになった。