[論文レビュー] CVPR 2023 Text Guided Video Editing Competition

Jay Zhangjie Wu, Xiuyu Li+18 more|arXiv (Cornell University)|Oct 24, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、CVPR 2023 Text Guided Video Editing (TGVE) 競争を紹介し、スタイル、背景、オブジェクト、マルチ編集の変更を含む4つの編集プロンプトをそれぞれ持つ76本の動画からなる標準化されたベンチマークデータセットを提案する。優勝手法であるTeam CAMPのTwo-Stage Video Editing (2SVE)パイプラインは、ControlNet、Segment Anything Model (SAM)、OpenCLIP、および微調整されたMSVDデータを活用し、編集の正確性と時間的整合性に優れ、人間評価においてベースラインを59.1%の割合で上回った。

ABSTRACT

Humans watch more than a billion hours of video per day. Most of this video was edited manually, which is a tedious process. However, AI-enabled video-generation and video-editing is on the rise. Building on text-to-image models like Stable Diffusion and Imagen, generative AI has improved dramatically on video tasks. But it's hard to evaluate progress in these video tasks because there is no standard benchmark. So, we propose a new dataset for text-guided video editing (TGVE), and we run a competition at CVPR to evaluate models on our TGVE dataset. In this paper we present a retrospective on the competition and describe the winning method. The competition dataset is available at https://sites.google.com/view/loveucvpr23/track4.

研究の動機と目的

• テキスト誘導型動画編集（TGVE）モデルの評価に向けた標準化されたベンチマークの欠如が、分野の進展とモデル比較を妨えているという問題に対処する。
• スタイル、背景、オブジェクト、およびマルチ変更をカバーする、多様で高品質な76本の動画と、1動画あたり4つの編集プロンプトを含む、公開可能なデータセットを構築する。
• 自動評価と人間評価の両方を用いた、CVPR 2023でのTGVEモデルの評価を目的としたコンテストを主催する。
• 透明な評価を伴う制御されたオープンコンテストを通じて、既存のTGVE手法の強みと弱みを特定・分析する。
• 将来のテキスト誘導型動画編集分野における研究開発を可能にする、再現可能でオープンなベンチマークを確立する。

提案手法

• コンテスト用データセットは、100本の公開ライセンス付き動画（DAVIS、YouTube、Videvo）から構築され、品質と多様性を考慮して76本にフィルタリングされた。各動画は、480×480解像度にクロップおよびダウンサンプリングされ、32または128フレームの長さに設定された。
• 各動画には、グランドトゥースキャプションと、4つの編集プロンプト（スタイル変更、背景変更、オブジェクト変更、複数変更）が付与された。これらのプロンプトは、LLMを用いた反復的プロンプト生成と、人間による検証を経て作成された。
• 優勝手法であるTwo-Stage Video Editing (2SVE)パイプラインは、まずテキストと画像プロンプトに条件付けられた拡散モデルを用いて編集に整合したフレームを生成し、次にControlNetとVPA（Video Prompt Anchor）を用いて空間的・時間的整合性を向上させる。
• 2SVEパイプラインは、正確なオブジェクトマスクのためのSegment Anything Model (SAM)、テキスト-画像の整合性を向上させるためのOpenCLIP、およびMSVDデータセットでの微調整により、プロンプト-動画の整合性を強化する。
• 新規のMulti-frame Video Rendering (MVSD)技術が導入され、インpaintingの参照として最初のフレームと直前のフレームの出力を用いることで、スタイルの一貫性を向上させ、フレーム間のちらつきを低減した。
• TSP（Target Segment Process）を用いてインpaintingマスクを精緻化し、隣接フレームからの干渉を最小限に抑えつつ、構造的・運動的一致性を維持した。

実験結果

リサーチクエスチョン

• RQ1 テキスト誘導型動画編集モデルの評価における主な課題は何か。また、公平な手法比較を可能にする標準化されたベンチマークをどのように設計できるか。
• RQ2 ControlNet、SAM、CLIPといった異なるアーキテクチャ的要素が、TGVEにおける編集の正確性と時間的整合性にどのように寄与するか。
• RQ3 エンドツーエンド手法と比較して、二段階のトレーニングおよび推論パイプラインは、動画編集品質をどの程度向上させられるか。
• RQ4 人間評価者は、多様な編集タイプにおいて、生成された編集の現実性、整合性、プロンプトとの整合性をどのように評価するか。
• RQ5 MSVDのような既存のデータセットでの微調整は、プロンプト-動画の整合性および編集品質の向上にどのような役割を果たすか。

主な発見

• TGVE 2023 競争データセットは、4つの編集タイプ（スタイル、背景、オブジェクト、複数変更）をカバーする76本の動画と304の編集プロンプトを含み、コンテスト公式サイトで公開可能である。
• Team CAMPのTwo-Stage Video Editing (2SVE)パイプラインがコンテストで優勝し、全編集タイプにおいて人間評価でベースラインを59.1%の割合で上回った。
• 2SVE手法は、高品質な視覚的表現と強固な時間的整合性を達成しており、特にスタイル変換およびオブジェクト編集タスクにおいて、ちらつきが最小限で構造的詳細が保持された。
• SAMによるインスタンスセグメンテーションとControlNetによる空間的制御の統合により、局所化の正確性が著しく向上し、不要な編集が削減された。
• MSVDデータセットでの微調整により、複数の変更や微細なスタイルシフトを含む複雑な編集においても、プロンプト-動画の整合性が向上した。
• 人間評価により、2SVEパイプラインが、背景や運動構造を保持する点で、ベースラインモデルよりもより自然で整合性があり、プロンプトに整合した編集を生成することが確認された。