[论文解读] MotionDirector: Motion Customization of Text-to-Video Diffusion Models

Rui Zhao, Yuchao Gu+6 more|arXiv (Cornell University)|Oct 12, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

MotionDirector 提出了一种双路径 LoRA 架构，以在文生视频扩散模型中解耦外观与运动学习，实现在保持外观多样性的同时实现运动定制。通过引入一种外观去偏移的时间损失，其在将定制化运动泛化到未见外观方面达到最先进性能，在定性和定量评估中均优于现有方法。

ABSTRACT

Large-scale pre-trained diffusion models have exhibited remarkable capabilities in diverse video generations. Given a set of video clips of the same motion concept, the task of Motion Customization is to adapt existing text-to-video diffusion models to generate videos with this motion. For example, generating a video with a car moving in a prescribed manner under specific camera movements to make a movie, or a video illustrating how a bear would lift weights to inspire creators. Adaptation methods have been developed for customizing appearance like subject or style, yet unexplored for motion. It is straightforward to extend mainstream adaption methods for motion customization, including full model tuning, parameter-efficient tuning of additional layers, and Low-Rank Adaptions (LoRAs). However, the motion concept learned by these methods is often coupled with the limited appearances in the training videos, making it difficult to generalize the customized motion to other appearances. To overcome this challenge, we propose MotionDirector, with a dual-path LoRAs architecture to decouple the learning of appearance and motion. Further, we design a novel appearance-debiased temporal loss to mitigate the influence of appearance on the temporal training objective. Experimental results show the proposed method can generate videos of diverse appearances for the customized motions. Our method also supports various downstream applications, such as the mixing of different videos with their appearance and motion respectively, and animating a single image with customized motions. Our code and model weights will be released.

研究动机与目标

• 为解决在文生视频扩散模型中定制运动的同时保持外观多样性的挑战。
• 制定并定义一种与现有基于外观的定制不同的运动定制任务。
• 克服标准微调和 LoRA 方法中外观与运动的耦合问题，从而限制对新外观的泛化能力。
• 支持诸如将一个视频的外观与另一个视频的运动混合，以及使用定制化运动动画化单张图像等应用。

提出的方法

• MotionDirector 采用双路径 LoRA 架构：空间路径使用空间 LoRA 进行外观学习，时间路径使用时间 LoRA 进行运动学习。
• 空间 LoRA 在单帧上进行训练以捕捉外观特征，而时间 LoRA 在多帧上进行训练以建模运动模式。
• 两条路径共享空间 LoRA，确保运动学习基于正确的外观，同时支持独立优化。
• 引入一种新颖的外观去偏移时间损失，以最小化外观对运动训练的影响，从而增强运动泛化能力。
• 推理阶段仅使用训练后的时间 LoRA，使基础模型能够以相同定制化运动生成多样外观。
• 该方法支持高效微调，仅增加极少参数——空间 LoRA 和时间 LoRA 分别增加 9M 和 12M 参数。

实验结果

研究问题

• RQ1 是否可以在不损害外观多样性的前提下，在文生视频扩散模型中实现运动定制？
• RQ2 在微调过程中，如何有效解耦外观与运动，以实现对新外观的泛化？
• RQ3 能否设计一种训练目标，以减少外观对时间运动学习的偏差？
• RQ4 运动定制在诸如混合不同视频的运动与外观等复杂任务中，可应用到何种程度？
• RQ5 与现有微调和基于控制的方法相比，所提方法在性能和效率方面表现如何？

主要发现

• MotionDirector 在外观多样性方面优于 SOTA 方法，其外观多样性的人工评估得分为 72.83%，远超 VideoComposer 的 27.17%。
• 在运动保真度方面，MotionDirector 的时间一致性人工评估得分为 61.24%，显著高于 VideoComposer 的 38.76%。
• 该方法能将定制化运动泛化到多样化外观，如定性结果所示，不同耳形的熊和凯旋门均使用相同运动被成功动画化。
• MotionDirector 实现了具有竞争力的收敛时间——单个视频 8 分钟，多个视频 20 分钟，显存占用 14GB，与 Tune-A-Video 相当。
• 外观去偏移时间损失有效降低了运动学习中的外观偏差，使泛化能力优于标准 LoRA 微调。
• 该方法支持新型应用，如混合不同视频的外观与运动，证明了解耦视频生成的可行性。