[論文レビュー] Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models

Hyeonho Jeong, Jong Chul Ye|arXiv (Cornell University)|Oct 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

Ground-A-Videoは、空間的に離散的なグランドイング（バウンディングボックスとキャプション）と空間的に連続的な条件（オプティカルフローと深度マップ）を統合することで、トレーニング不要でゼロショットな動画編集を可能にするフレームワークを提案する。編集の正確性と時間的整合性を向上させるために、クロスフレームゲート付きアテンション、モデュレートドクロスアテンション、およびオプティカルフロー誘導型の潜在変数スムージングを導入し、定性的および定量的ベンチマークにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Recent endeavors in video editing have showcased promising results in single-attribute editing or style transfer tasks, either by training text-to-video (T2V) models on text-video data or adopting training-free methods. However, when confronted with the complexities of multi-attribute editing scenarios, they exhibit shortcomings such as omitting or overlooking intended attribute changes, modifying the wrong elements of the input video, and failing to preserve regions of the input video that should remain intact. To address this, here we present a novel grounding-guided video-to-video translation framework called Ground-A-Video for multi-attribute video editing. Ground-A-Video attains temporally consistent multi-attribute editing of input videos in a training-free manner without aforementioned shortcomings. Central to our method is the introduction of Cross-Frame Gated Attention which incorporates groundings information into the latent representations in a temporally consistent fashion, along with Modulated Cross-Attention and optical flow guided inverted latents smoothing. Extensive experiments and applications demonstrate that Ground-A-Video's zero-shot capacity outperforms other baseline methods in terms of edit-accuracy and frame consistency. Further results and code are available at our project page (http://ground-a-video.github.io).

研究の動機と目的

• 既存の動画編集手法が抱える多属性編集における制限、例えば意味的不一致、フレーム間の不整合、意図しない変更の問題を解決すること。
• 動画データに対する拡散モデルのファインチューニングなしに、高精度で時間的に整合性のある動画編集を実現すること。
• 空間的に離散的（グランドイング）および空間的に連続的（オプティカルフロー、深度）な条件を統合し、制御性と整合性を向上させること。
• 入力動画の変更されない領域を保持しながら、指定された属性を正確に変更できること。
• テキストから画像への基礎モデルと逆投影技術のみを用いて、ゼロショット動画編集の可能性を実証すること。

提案手法

• フレーム間を一貫してグランドイング情報を伝達できるように、時間的に局所化された条件に注目するクロスフレームゲート付きアテンションを導入する。
• テキストから画像モデルから得られる異なる最適化状態の無条件埋め込み間の効果的相互作用を可能にするために、モデュレートドクロスアテンションを提案する。
• 静的領域におけるアーティファクトを低減し、時間的整合性を向上させるために、逆投影された潜在表現に対してオプティカルフロー誘導型スムージングを適用する。
• 構造的整合性をフレーム間で維持するために、拡張されたControlNetを介して深度マップやオプティカルフローなどの制御条件を用いる。
• バウンディングボックスの座標とテキストキャプションをグランドイングとして用い、複雑な意味的編集を分離し、正確な属性変更を誘導する。
• 2段階のプロセス（動画の逆投影 → グランドイングおよび構造的条件を注入した拡散ベース編集）を採用する。

実験結果

リサーチクエスチョン

• RQ1 グランドイング情報を効果的に活用することで、ゼロショット動画編集における編集の正確性と時間的整合性を向上させることができるか？
• RQ2 空間的に連続的（オプティカルフロー、深度）および空間的に離散的（バウンディングボックス）な条件の統合が、動画編集性能に与える影響は何か？
• RQ3 トレーニング不要な手法が、動画データセットへのファインチューニングなしに高精細で多属性の動画編集を達成できるか？
• RQ4 クロスフレームゲート付きアテンションは、フレーム独立型アテンション機構よりも、編集の正確性とフレーム整合性を保つ上で優れているか？
• RQ5 グランドイングの交差領域から得られるインpaintマスクが、変更されない動画領域の保護にどの程度寄与するか？

主な発見

• ユーザー調査および定量的指標による検証から、Ground-A-Videoはベースライン手法に比べて、多属性編集において優れた編集正確性とフレーム整合性を達成している。
• アブレーションスタディの結果、オプティカルフロー誘導型潜在変数スムージングが静的領域におけるアーティファクトを顕著に低減し、再構成品質を向上させていることが確認された。
• 深度マップを用いたControlNetガイドは、複雑な物体（ウサギやペンギンなど）の正確な構造再構成に不可欠であることが示された。
• クロスフレームゲート付きアテンションにより、特に「男 → アイアンマン」のような属性編集タスクにおいて、意味的不一致や外観の不整合が低減された。
• グランドイングの交差マスクを用いたインpaintにより、変更されないべき領域を特定・保護する能力が向上し、保存正確性が向上した。
• 本手法は、ポーズマップ誘導によるゼロショットテキストから動画生成も可能であり、編集以外の分野でもその汎用性を示している。