[論文レビュー] LOVECon: Text-driven Training-Free Long Video Editing with ControlNet

Zhenyi Liao, Zhijie Deng|arXiv (Cornell University)|Oct 15, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

LOVECon は、ControlNet を用いたトレーニングフリーでテキスト駆動の長時間動画編集フレームワークを提案する。128 フレームまでの動画に対して高精細な編集を可能にする。動画をウィンドウに分割し、時間的整合性を確保するためのクロスウィンドウアテンション機構を導入する。コンテンツ保持のための DDIM 逆変換を用い、フレーム補間によりフレーム間のちらつきを低減する。さまざまな編集タスクにおいて、一貫性と視覚的品質の両面でベースラインを上回る性能を発揮する。

ABSTRACT

Leveraging pre-trained conditional diffusion models for video editing without further tuning has gained increasing attention due to its promise in film production, advertising, etc. Yet, seminal works in this line fall short in generation length, temporal coherence, or fidelity to the source video. This paper aims to bridge the gap, establishing a simple and effective baseline for training-free diffusion model-based long video editing. As suggested by prior arts, we build the pipeline upon ControlNet, which excels at various image editing tasks based on text prompts. To break down the length constraints caused by limited computational memory, we split the long video into consecutive windows and develop a novel cross-window attention mechanism to ensure the consistency of global style and maximize the smoothness among windows. To achieve more accurate control, we extract the information from the source video via DDIM inversion and integrate the outcomes into the latent states of the generations. We also incorporate a video frame interpolation model to mitigate the frame-level flickering issue. Extensive empirical studies verify the superior efficacy of our method over competing baselines across scenarios, including the replacement of the attributes of foreground objects, style transfer, and background replacement. Besides, our method manages to edit videos comprising hundreds of frames according to user requirements. Our project is open-sourced and the project page is at https://github.com/zhijie-group/LOVECon.

研究の動機と目的

• 従来のトレーニングフリーな拡散モデルが長時間動画編集において抱える時間的整合性、スタイルの一貫性、元の動画への忠実度の制限を解消すること。
• 計算メモリ制限を考慮して、128 フレームまでの長時間動画を連続するウィンドウに分割することで、効果的な長時間動画編集を可能にすること。
• 事前学習済みモデルの微調整なしに、ウィンドウ間でグローバルなスタイルの一貫性とローカルな詳細の忠実度を維持すること。
• 動画補間モデルによる潜在状態の精錬によって、フレームレベルのちらつきを低減し、編集済みの長時間動画の視覚的滑らかさを向上させること。
• 映画や広告分野における実用的動画編集アプリケーションのための、シンプルで効果的かつアクセスしやすいベースラインを提供すること。

提案手法

• 推論時の計算メモリ制約を管理するため、長時間動画を連続する時間的ウィンドウに分割する。
• ウィンドウ境界を越えて注目を向けることで、グローバルなスタイルとコンテンツの一貫性を確保する、新しいクロスウィンドウアテンション機構を導入する。
• 元の動画に対して DDIM 逆変換を適用し、潜在表現を抽出。その後、生成フレームの潜在状態に統合することで、編集されていないコンテンツの構造的忠実度を保持する。
• 生成の後段階で動画フレーム補間モデルを統合し、潜在状態を精錬することで、フレームレベルのちらつきと視覚的アーチファクトを低減する。
• パイプラインは Stable Diffusion と ControlNet に依存しており、微調整なしにテキストプロンプトを条件として用いて編集を実現する。
• 既存の拡散モデルとの互換性を維持しつつ、それらの能力を長時間動画編集へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングフリーな拡散モデルベースの手法は、128 フレームまでの長時間動画を、時間的整合性と視覚的品質を保ちつつ高精細に編集できるか？
• RQ2 フルフレームアテンションなしに、クロスウィンドウアテンションはウィンドウ間でグローバルなスタイルとコンテンツの一貫性をどれほど効果的に維持できるか？
• RQ3 DDIM 逆変換に基づく潜在統合は、構造的忠実度の向上と編集時の不測のコンテンツ変更の低減にどの程度寄与するか？
• RQ4 フレーム補間は、長時間動画編集におけるちらつきを顕著に低減し、フレームレベルの滑らかさを向上させるか？
• RQ5 CLIPに基づく指標とユーザー評価の両面で、本手法は既存の ControlNet ベースのベースラインと比較してどの程度優れているか？

主な発見

• LOVECon は 128 フレームまでの動画編集に成功し、既存のトレーニングフリーな拡散モデルベースの動画編集手法の長さ制限を顕著に拡張した。
• クロスウィンドウアテンション機構は、フルフレームアテンションに匹敵する性能を達成しているが、はるかに低い計算コストで実現している。
• アブレーションスタディにより、フレーム補間がちらつきを効果的に低減することが確認され、最終出力では明著な色や詳細の不一致が解消された。
• CLIPに基づく指標とユーザー調査の両方で、本手法は競合するベースラインを上回り、優れたフレーム一貫性と元の動画との構造的類似度を示した。
• DDIM 逆変換に基づく潜在統合により、編集されていないコンテンツが構造的に忠実に保たれ、不測の変更が最小限に抑えられた。
• 定性的な結果から、属性の置き換え、スタイル移行、背景編集など多様なシナリオにおいて、一貫性があり高精細な編集が実現していることが示された。