[論文レビュー] MotionDirector: Motion Customization of Text-to-Video Diffusion Models

Rui Zhao, Yuchao Gu+6 more|arXiv (Cornell University)|Oct 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

MotionDirectorは、テキストから動画への拡散モデルにおける外見と動きの学習を分離する二重パスLoRAアーキテクチャを提案し、外見の多様性を保ちながら動きのカスタマイズを可能にした。外見にバイアスのない時間的損失を導入することで、未確認の外見にカスタマイズされた動きを一般化するという点で、定量的・定性的な評価において既存手法を上回る最先端の性能を達成した。

ABSTRACT

Large-scale pre-trained diffusion models have exhibited remarkable capabilities in diverse video generations. Given a set of video clips of the same motion concept, the task of Motion Customization is to adapt existing text-to-video diffusion models to generate videos with this motion. For example, generating a video with a car moving in a prescribed manner under specific camera movements to make a movie, or a video illustrating how a bear would lift weights to inspire creators. Adaptation methods have been developed for customizing appearance like subject or style, yet unexplored for motion. It is straightforward to extend mainstream adaption methods for motion customization, including full model tuning, parameter-efficient tuning of additional layers, and Low-Rank Adaptions (LoRAs). However, the motion concept learned by these methods is often coupled with the limited appearances in the training videos, making it difficult to generalize the customized motion to other appearances. To overcome this challenge, we propose MotionDirector, with a dual-path LoRAs architecture to decouple the learning of appearance and motion. Further, we design a novel appearance-debiased temporal loss to mitigate the influence of appearance on the temporal training objective. Experimental results show the proposed method can generate videos of diverse appearances for the customized motions. Our method also supports various downstream applications, such as the mixing of different videos with their appearance and motion respectively, and animating a single image with customized motions. Our code and model weights will be released.

研究の動機と目的

• テキストから動画への拡散モデルにおける動きのカスタマイズを実現しつつ、外見の多様性を維持する課題に対処すること。
• 従来の外見ベースのカスタマイズとは異なる、動きのカスタマイズというタスクを定式化し定義すること。
• 標準的な微調整およびLoRA手法における外見と動きの結合を克服し、新しい外見への一般化を可能にすること。
• 一つの動画の外見と別の動画の動きを組み合わせる、および単一画像にカスタマイズされた動きを適用してアニメーション化する応用を可能にすること。

提案手法

• MotionDirectorは二重パスLoRAアーキテクチャを採用：空間パスには外見学習のための空間的LoRA、時間的パスには動き学習のための時間的LoRAを設ける。
• 空間的LoRAは単一フレーム上で訓練され、外見的特徴を捉えるのに対し、時間的LoRAは複数フレーム上で訓練され、動きのパターンをモデル化する。
• 二つのパスは空間的LoRAを共有しており、動き学習が正しい外見に基づくように保証するとともに、分離された最適化を可能にする。
• 外見にバイアスのない時間的損失を新たに導入し、外見の影響を最小限に抑えることで、動きの一般化性能を向上させる。
• 推論時には、訓練済みの時間的LoRAのみを用いるため、基盤モデルが同じカスタマイズされた動きで多様な外見を生成できる。
• 最小限のパrameter追加で効率的な微調整が可能であり、空間的LoRAと時間的LoRAそれぞれに900万および1200万パラメータを追加する。

実験結果

リサーチクエスチョン

• RQ1 テキストから動画への拡散モデルにおいて、外見の多様性を損なわずに動きのカスタマイズが可能か？
• RQ2 微調整の過程で外見と動きを効果的に分離することで、新しい外見への一般化が可能か？
• RQ3 時間的動き学習における外見バイアスを低減する訓練目的関数を設計できるか？
• RQ4 動きと外見を異なる動画から組み合わせるような複雑なタスクに、動きのカスタマイズをどの程度適用できるか？
• RQ5 既存のチューニング手法や制御ベース手法と比較して、性能と効率の面で本手法はどのように差をつけるか？

主な発見

• MotionDirectorはSOTA手法を上回る外見の多様性を達成し、外見多様性のヒューマン評価スコアは72.83%を記録（VideoComposerは27.17%）。
• 動きの忠実度において、MotionDirectorは時間的整合性のヒューマン評価スコアが61.24%を達成し、VideoComposerの38.76%を大きく上回った。
• 質的結果から、同じ動きで耳の形が異なるクマやアーケ・ド・トライヨンフが多様な外見にアニメートされていることから、カスタマイズされた動きが多様な外見に一般化されていることが示された。
• MotionDirectorは競争力のある収束時間を達成しており、1本の動画で8分、複数の動画で20分の所要時間であり、14GB VRAMで動作し、Tune-A-Videoと同等の性能を示した。
• 外見にバイアスのない時間的損失は、外見バイアスを効果的に低減し、標準的なLoRA微調整に比べてより優れた一般化性能を実現した。
• 本手法は、異なる動画の外見と動きを組み合わせるような新規な応用を可能にし、分離された動画生成の実現可能性を示した。