[论文解读] AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data
AnimateLCM 通过解耦的一致性学习策略，分别蒸馏图像和运动先验，实现了仅需 4 次推理步骤的高保真个性化视频生成。该方法在极简步骤下达到最先进性能，支持无需速度损失的即插即用适配器，并可兼容个性化图像扩散权重以实现多样化风格。
This paper introduces an effective method for computation-efficient personalized style video generation without requiring access to any personalized video data. It reduces the necessary generation time of similarly sized video diffusion models from 25 seconds to around 1 second while maintaining the same level of performance. The method's effectiveness lies in its dual-level decoupling learning approach: 1) separating the learning of video style from video generation acceleration, which allows for personalized style video generation without any personalized style video data, and 2) separating the acceleration of image generation from the acceleration of video motion generation, enhancing training efficiency and mitigating the negative effects of low-quality video data.
研究动机与目标
- 在保持高视觉质量的前提下，加速扩散模型中的视频生成。
- 通过实现极简推理步数，解决视频扩散中迭代去噪带来的高计算成本问题。
- 在不损失速度或质量的前提下，实现与个性化图像扩散模型及社区适配器的兼容。
- 开发一种通过解耦蒸馏图像与运动先验来提升效率与生成质量的训练策略。
提出的方法
- 提出一种解耦的一致性学习策略，先从高质量图像数据集中蒸馏图像生成先验，再从视频数据中蒸馏运动先验。
- 对图像和图像一致性模型应用 3D 扩张，将其扩展至视频生成，并采用特殊设计的初始化方式以减少特征污染。
- 在潜在空间中训练视频一致性模型，通过预测分类器自由引导增强的概率流 ODE 的解来实现。
- 引入无需教师模型的适配器适应策略，实现对现有适配器（如 ControlNet、T2I-Adapter）的直接集成，或从零开始训练。
- 利用预训练的稳定扩散权重，并支持无缝替换空间权重为个性化图像扩散模型，以实现风格迁移。
实验结果
研究问题
- RQ1能否有效解耦图像与运动先验之间的一致性学习，以提升视频扩散中的训练效率与生成质量？
- RQ2如何在不降低推理速度的前提下，将现有社区适配器适配至蒸馏后的视频一致性模型？
- RQ3能否直接在视频一致性模型中使用个性化图像扩散权重，以生成高保真、风格一致的视频？
- RQ4与基线扩散模型相比，该方法是否在低步数推理场景下实现更优性能？
主要发现
- AnimateLCM 在 FVD 和 CLIPSIM 指标上达到最先进性能，尤其在 1–4 步推理设置下表现卓越，即使在无分类器自由引导（CFG）条件下也优于基线模型。
- 解耦的一致性学习策略显著提升了训练收敛速度与最终生成质量，在定量消融实验中优于 'w/o decouple' 和 'w/o init' 基线。
- 无教师模型的适配器适应策略实现了稳定、高质量的可控生成，与直接使用适配器相比，T2I-Adapter 的闪烁现象减少，控制精度提升。
- 将空间权重替换为个性化真实风格模型（Realistic Vision V5.0）后，视觉质量与运动平滑性均得到提升，证明了与个性化模型的强兼容性。
- 由于推理阶段无需 CFG，与使用 7.5 CFG 强度的基线相比，该方法将推理时间与峰值显存消耗降低了 50%。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。