[论文解读] Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model

Han Lin, Jaemin Cho+2 more|arXiv (Cornell University)|Apr 15, 2024

Advanced Neuroimaging Techniques and ApplicationsMedicine被引用 3

一句话总结

Ctrl-Adapter 是一种轻量级、参数高效的框架，可在不微调主干网络或 ControlNet 的情况下，将预训练的 ControlNet 适配到任意图像或视频扩散模型。通过引入带有空间和时间模块的可学习适配器层——包括潜在跳跃连接和反向时间步采样——该方法实现了高质量的图像与视频生成，并在视频基准测试（如 DAVIS 2017）中达到最先进性能，训练时间少于 10 个 GPU 小时。

ABSTRACT

ControlNets are widely used for adding spatial control to text-to-image diffusion models with different conditions, such as depth maps, scribbles/sketches, and human poses. However, when it comes to controllable video generation, ControlNets cannot be directly integrated into new backbones due to feature space mismatches, and training ControlNets for new backbones can be a significant burden for many users. Furthermore, applying ControlNets independently to different frames cannot effectively maintain object temporal consistency. To address these challenges, we introduce Ctrl-Adapter, an efficient and versatile framework that adds diverse controls to any image/video diffusion model through the adaptation of pretrained ControlNets. Ctrl-Adapter offers strong and diverse capabilities, including image and video control, sparse-frame video control, fine-grained patch-level multi-condition control (via an MoE router), zero-shot adaptation to unseen conditions, and supports a variety of downstream tasks beyond spatial control, including video editing, video style transfer, and text-guided motion control. With six diverse U-Net/DiT-based image/video diffusion models (SDXL, PixArt-$α$, I2VGen-XL, SVD, Latte, Hotshot-XL), Ctrl-Adapter matches the performance of pretrained ControlNets on COCO and achieves the state-of-the-art on DAVIS 2017 with significantly lower computation (< 10 GPU hours).

研究动机与目标

• 解决将预训练 ControlNet 直接应用于新扩散模型主干网络时效率低下和不兼容的问题。
• 克服在使用逐帧 ControlNet 推理时视频生成中的时间不一致性问题。
• 实现 ControlNet 对未见控制条件和多样化主干模型的零样本适配。
• 支持灵活的控制场景，包括多条件控制、稀疏帧控制和视频编辑。
• 相比从零开始为新主干模型训练 ControlNet，显著降低训练成本。

提出的方法

• 训练适配器层，将预训练 ControlNet 的特征融合到目标扩散模型中，同时保持 ControlNet 和扩散模型参数冻结。
• 引入双分支架构，包含空间和时间模块：空间卷积与注意力用于保留空间细节，时间卷积与注意力用于提升时间一致性。
• 实现潜在跳跃连接，将 ControlNet 输入与扩散模型的潜在空间解耦，提升对噪声尺度差异的鲁棒性。
• 应用反向时间步采样，使 ControlNet 特征与新主干模型中连续的扩散时间步调度对齐。
• 通过加权平均多个预训练 ControlNet 的输出，实现多条件控制。
• 采用模块化适配器设计，支持多种主干模型，包括 SDXL、I2VGen-XL、SVD 和 Hotshot-XL。

Figure 1: We propose Ctrl -Adapter , an efficient and versatile framework for adding diverse spatial controls to any image or video diffusion model. Ctrl -Adapter supports a variety of useful applications, including video control, video control with multiple conditions, video control with sparse fra

实验结果

研究问题

• RQ1 能否在不微调主干网络或 ControlNet 的情况下，高效地将预训练 ControlNet 适配到新的图像与视频扩散模型？
• RQ2 在使用逐帧 ControlNet 特征时，如何提升视频生成中的时间一致性？
• RQ3 该框架能否通过零样本适配，泛化到未见的控制条件和多样化的主干模型？
• RQ4 哪些架构组件（如注意力、卷积、时间模块）在视觉质量与控制精度之间实现最佳平衡？
• RQ5 该框架能否以极低计算成本支持复杂控制场景，如多条件控制与稀疏帧控制？

主要发现

• 在 SDXL 上的 COCO 数据集图像控制任务中，Ctrl-Adapter 的性能与完整 ControlNet 微调相当，FID 达到 4.05。
• 在 I2VGen-XL 上的视频控制任务中，Ctrl-Adapter 在 DAVIS 2017 上实现了最先进水平的光流误差（3.68），优于所有基线方法。
• 训练 Ctrl-Adapter 所需时间少于 10 个 GPU 小时，相比从零开始训练 ControlNet（如 SDv1.5 需要 500–600 个 A100 小时），计算成本显著降低。
• 潜在跳跃连接提升了对不同噪声尺度主干模型（如 SVD）的适配能力，并实现了有效的稀疏帧控制，使 I2VGen-XL 上的 FID 从 7.20 降低至 5.98。
• SC+TC+SA+TA 配置在视频生成中实现了视觉质量（FID）与空间控制（光流误差）的最佳平衡。
• Ctrl-Adapter 支持对未见控制条件的零样本迁移，并通过简单平均 ControlNet 输出实现多条件控制。

Figure 2: Left: Ctrl -Adapter (colored orange ) enables to reuse pretrained image ControlNets (colored blue ) for new image/video diffusion models (colored green ). Right: Architecture details of Ctrl -Adapter. Temporal convolution and attention layers are skipped for image diffusion backbones.