[論文レビュー] AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

Yuwei Guo, Ceyuan Yang+7 more|arXiv (Cornell University)|Jul 10, 2023

Image Retrieval and Classification Techniques被引用数 82

ひとこと要約

AnimateDiff は、モデル固有のチューニングを行うことなく、パーソナライズされた T2I 拡散モデルをアニメーション化するプラグアンドプレイのモーションモジュールを提供し、新しいモーションパターンへの軽量適応のための MotionLoRA を追加します。

ABSTRACT

With the advance of text-to-image (T2I) diffusion models (e.g., Stable Diffusion) and corresponding personalization techniques such as DreamBooth and LoRA, everyone can manifest their imagination into high-quality images at an affordable cost. However, adding motion dynamics to existing high-quality personalized T2Is and enabling them to generate animations remains an open challenge. In this paper, we present AnimateDiff, a practical framework for animating personalized T2I models without requiring model-specific tuning. At the core of our framework is a plug-and-play motion module that can be trained once and seamlessly integrated into any personalized T2Is originating from the same base T2I. Through our proposed training strategy, the motion module effectively learns transferable motion priors from real-world videos. Once trained, the motion module can be inserted into a personalized T2I model to form a personalized animation generator. We further propose MotionLoRA, a lightweight fine-tuning technique for AnimateDiff that enables a pre-trained motion module to adapt to new motion patterns, such as different shot types, at a low training and data collection cost. We evaluate AnimateDiff and MotionLoRA on several public representative personalized T2I models collected from the community. The results demonstrate that our approaches help these models generate temporally smooth animation clips while preserving the visual quality and motion diversity. Codes and pre-trained weights are available at https://github.com/guoyww/AnimateDiff.

研究の動機と目的

• 各モデルごとのチューニングを行わず、パーソナライズされた T2I モデルのアニメーション生成を可能にする
• 動画データから移動 priors を学習し、時系列ダイナミクスを駆動する
• 新しいパターンに適応する軽量なファインチューニング手法（MotionLoRA）を導入する
• コンテンツ制御アプローチとの互換性を示すための controllable animation を実証する
• 多様なコミュニティモデル全体で評価し、一般化と品質の保持を示す

提案手法

• 高品質な画像と低品質な動画データ間の視覚的分布ギャップを橋渡しするドメインアダプタを訓練する
• 2D T2I を拡張して 5D の動画テンソルを処理し、モーションモジュールとして時相 Transformer を挿入する
• サイン波位置エンコーディングと残差接続を備えたゼロ初期化プロジェクションを用いてモーション priors を学習する
• 新しいモーションパターンへの適応のため、モーションモジュールに LoRA レイヤを追加して MotionLoRA を任意適用する
• ベースの T2I とアダプタを凍結したまま、軽量なコンポーネント（ドメインアダプタ、モーションモジュール、MotionLoRA）だけをファインチューニングする
• 追加トレーニングなしで controllable animation のために ControlNet との互換性をデモする

実験結果

リサーチクエスチョン

• RQ1 動画から学習した単一のモーションモジュールは、基礎モデルをチューニングせずに、任意のパーソナライズされた T2I モデルをアニメーション化できるだろうか？
• RQ2 時系列 Transformer は拡散ベースの T2I におけるアニメーションのモーション priors を捉えるのに有効か？
• RQ3 MotionLoRA は、最小限のデータと計算量で事前学習済みのモーションモジュールを新しいモーションパターンに効率的に適応できるか？
• RQ4 AnimateDiff はアニメーションに一貫したモーションを追加しつつ、ドメイン特有の視覚品質を維持するか？
• RQ5 AnimateDiff は controllable animation のための既存のコンテンツ制御手法とどのように相互作用するか？

主な発見

手法	ユーザ調査（テキスト）	ユーザ調査（ドメイン）	ユーザ調査（滑らかさ）	CLIP（テキスト）	CLIP（ドメイン）	CLIP（滑らかさ）
Text2Video-Zero	1.620	2.620	1.560	32.04	84.84	96.57
Tune-a-Video	2.180	1.100	1.615	35.98	80.68	97.42
Ours	2.210	2.280	2.825	31.39	87.29	98.00

• AnimateDiff は、モデル固有の調整なしに、さまざまなパーソナライズされた T2I モデルに接続して視覚的に一貫したアニメーションを可能にする
• 時系列 Transformer は、アニメーションのための時間軸に沿うモーション priors を効果的にモデル化する
• MotionLoRA は、参照動画が 20–50 本程度および約 2k 学習反復で新しいモーションパターンへ適応できる
• ドメインアダプタは、動画データと base T2I のトレーニングデータ間の視覚品質ギャップを緩和し、結果を改善する
• AnimateDiff は、ユーザ調査と CLIP 指標で、ベースラインと比較してテキストアライメント、ドメイン類似度、モーション滑らかさに有利な結果を得る
• この手法は追加トレーニングなしで ControlNet のようなコンテンツ制御アプローチと互換性を保つ