[论文解读] Adding Conditional Control to Text-to-Image Diffusion Models

Lvmin Zhang, Rao, Anyi+1 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Neuroimaging Techniques and Applications被引用 204

一句话总结

ControlNet 通过将冻结的骨干网络与可训练副本连接起来，使用零初始化卷积，向大规模预训练文本到图像扩散模型添加可训练的条件控制，从而实现对边缘、深度、姿态等多样化条件的控制，数据和计算需求最小。

ABSTRACT

We present ControlNet, a neural network architecture to add spatial conditioning controls to large, pretrained text-to-image diffusion models. ControlNet locks the production-ready large diffusion models, and reuses their deep and robust encoding layers pretrained with billions of images as a strong backbone to learn a diverse set of conditional controls. The neural architecture is connected with "zero convolutions" (zero-initialized convolution layers) that progressively grow the parameters from zero and ensure that no harmful noise could affect the finetuning. We test various conditioning controls, eg, edges, depth, segmentation, human pose, etc, with Stable Diffusion, using single or multiple conditions, with or without prompts. We show that the training of ControlNets is robust with small (<50k) and large (>1m) datasets. Extensive results show that ControlNet may facilitate wider applications to control image diffusion models.

研究动机与目标

• 在文本到图像扩散中激发比提示更细粒度的空间控制。
• 提出一个端到端微调方法，通过冻结预训练模型来保留骨干网络。
• 展示多样的条件输入（边缘、深度、姿态、分割等），并评估在不同数据集规模下的鲁棒性。
• 展示 ControlNet 能够组合多种条件信号，并可在有或无提示的情况下运行。

提出的方法

• 引入 ControlNet：一个可训练的预训练扩散骨干网络副本，通过零初始化的一维卷积（1x1）与冻结骨干相连。
• 附加一个条件编码器，将输入的条件图像（例如边缘、深度、姿态）转换为与扩散模型块对齐的特征图。
• 仅训练 ControlNet 组件，同时保持原始模型冻结，以避免灾难性遗忘。
• 使用一个小型编码器 E 将条件图像映射到与潜在扩散输入匹配的 64x64 特征空间。
• 将该方法应用于 Stable Diffusion，在编码器和中间块中插入 ControlNet 块，使多种条件信号可组合。
• 利用无分类器引导（Classifier-Free Guidance，CFG）与 CFG 分辨率加权在推理期间调节条件影响。

实验结果

研究问题

• RQ1 在不更新骨干网络的情况下，ControlNet 是否能够为大型预训练扩散模型实现可靠的条件控制？
• RQ2 哪些条件模态（边缘、深度、姿态、分割等）对引导生成有效，多个条件如何相互作用？
• RQ3 在不同训练数据规模和不同模型变体（如单一条件与多条件）下，ControlNet 的表现如何？
• RQ4 在使用 ControlNet 时，应该如何调整 CFG 以在条件保真度与输出质量之间取得平衡？

主要发现

• ControlNet 能够在有提示或无提示的情况下，用单个或多个条件输入（边缘、深度、姿态、分割等）引导 Stable Diffusion。
• 训练在小型（<50k）和大型（>1M）条件数据集上都具有鲁棒性，并且通过冻结骨干网络和使用零初始化连接受益。
• 零卷积在训练初期防止有害噪声，保留了大型预训练骨干。
• CFG 分辨率加权在推理阶段允许对条件影响进行细致控制，在不牺牲质量的情况下提高保真度。
• 用户研究和量化指标表明 ControlNet 在结果质量和条件保真度方面优于若干基线（例如 ControlNet 相较于 Sketch-Guided 变体具有更高的 AUR）。
• ControlNets 可以在不重新训练神经块的情况下迁移到社区扩散模型。