[論文レビュー] VideoControlNet: A Motion-Guided Video-to-Video Translation Framework by Using Diffusion Model with ControlNet

Zhihao Hu, Dong Xu|arXiv (Cornell University)|Jul 26, 2023

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

VideoControlNet は、ControlNet と運動情報を用いた拡散モデルを使い、入力動画を多様なプロンプトへ翻訳しつつ、内容の一貫性を保持します。I-フレームを ControlNet で生成し、P-フレームには MgPG、B-フレームには MgBI を用いる。

ABSTRACT

Recently, diffusion models like StableDiffusion have achieved impressive image generation results. However, the generation process of such diffusion models is uncontrollable, which makes it hard to generate videos with continuous and consistent content. In this work, by using the diffusion model with ControlNet, we proposed a new motion-guided video-to-video translation framework called VideoControlNet to generate various videos based on the given prompts and the condition from the input video. Inspired by the video codecs that use motion information for reducing temporal redundancy, our framework uses motion information to prevent the regeneration of the redundant areas for content consistency. Specifically, we generate the first frame (i.e., the I-frame) by using the diffusion model with ControlNet. Then we generate other key frames (i.e., the P-frame) based on the previous I/P-frame by using our newly proposed motion-guided P-frame generation (MgPG) method, in which the P-frames are generated based on the motion information and the occlusion areas are inpainted by using the diffusion model. Finally, the rest frames (i.e., the B-frame) are generated by using our motion-guided B-frame interpolation (MgBI) module. Our experiments demonstrate that our proposed VideoControlNet inherits the generation capability of the pre-trained large diffusion model and extends the image diffusion model to the video diffusion model by using motion information. More results are provided at our project page.

研究の動機と目的

• 拡散ベースの動画生成を動機づけ、フレーム単位のアプローチにおける時間的一貫性の欠如に対処する。
• 入力動画コンテンツに対して拡散モデルを条件付けするために ControlNet を活用する。
• 時間的冗長性を低減するための運動誘導 P-フレーム生成（MgPG）と運動誘導 B-フレーム補間（MgBI）を導入する。
• VideoControlNet が StableDiffusion の能力を継承しつつ、プロンプト間で一貫した動画翻訳を提供することを示す。

提案手法

• 入力フレームの導出条件画像に条件付けられた ControlNet を用いて StableDiffusion で I-フレームを生成する。
• 後続フレームを GoP に分割し、動き補償のための光学流と新規出現領域のインペインティングを用いて MgPG による P-フレームを生成する。
• 残差情報とオクルージョンマップを結合してインペインティングマスクを計算し、オクルード領域の拡散ベースのインペインティングを導く。
• 運動情報を用いて最も近い I/P フレームの間を補間する MgBI で B-フレームを生成し、変形フレームのマッチスコアに基づく融合を行う。
• FlowFormer を光学フロー推定に使用し、与えられたテキストプロンプトに従ってフレームを翻訳するために ControlNet 条件付き拡散を採用する。

実験結果

リサーチクエスチョン

• RQ1 入力動画の運動情報をどのように活用して、拡散ベースの動画翻訳中の内容の一貫性を維持できるか？
• RQ2 P-フレームおよび B-フレームを運動誘導戦略を用いて効果的に生成または補間し、冗長な再生成を減らし時間的整合性を向上させることができるか？
• RQ3 品質、一貫性、速度の観点で VideoControlNet は既存の拡散ベースの動画翻訳手法とどう比較されるか？
• RQ4 異なる入力条件（例: canny/深度）で拡散を条件付けることが出力品質に与える実践的な影響は何か？

主な発見

方法	FVD（低い方が良い）	IS（高い方が良い）	FID（低い方が良い）	CLIPSIM（高い方が良い）	LPIPS（低い方が良い）	光学フロー誤差（低い方が良い）	速度（フレーム毎秒）
Text2Video-Zero	1670.39	13.23	119.01	25.66	0.56	17.99	0.19fps
Ours	981.99	18.02	92.17	26.14	0.50	7.91	0.30fps

• ユーザー調査では VideoControlNet が Text2Video-Zero および CCPL より好まれることが示された（投票の 74.7%）。
• DAVIS データセットでは、VideoControlNet は Text2Video-Zero より客観指標が良い: FVD 981.99 vs 1670.39; IS 18.02 vs 13.23; FID 92.17 vs 119.01; CLIPSIM 26.14 vs 25.66; LPIPS 0.50 vs 0.56。
• 光学フロー誤差は VideoControlNet（7.91）の方が Text2Video-Zero（17.99）より小さい。
• VideoControlNet は 0.30 fps（フレームあたりの平均）で、Text2Video-Zero は 0.19 fps で、GoP=10 and 20 拡散ステップのフレームあたり平均時間は 3.4 秒。
• P-フレーム生成（MgPG）と B-フレーム補間（MgBI）は全てのフレームでの完全な拡散処理の必要性を減らし、速度を向上させる（ MgBI は特に高速）。
• この手法は運動情報と事前学習済み StableDiffusion モデルと ControlNet の能力によって高い内容の一貫性を示す。