[论文解读] ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems

Denis Zavadski, Johann-Friedrich Feiden+1 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

ControlNet-XS 通过将控制网络与生成能力解耦，重新思考了文本到图像扩散模型的控制方式，消除了以往方法（如 ControlNet）中固有的反馈延迟。这使得一个更小、更快的网络（1.7M–55M 参数）能够实现更优的图像质量和控制保真度，优于更大的模型，同时训练和推理速度提升约 2 倍。

ABSTRACT

The field of image synthesis has made tremendous strides forward in the last years. Besides defining the desired output image with text-prompts, an intuitive approach is to additionally use spatial guidance in form of an image, such as a depth map. In state-of-the-art approaches, this guidance is realized by a separate controlling model that controls a pre-trained image generation network, such as a latent diffusion model. Understanding this process from a control system perspective shows that it forms a feedback-control system, where the control module receives a feedback signal from the generation process and sends a corrective signal back. When analysing existing systems, we observe that the feedback signals are timely sparse and have a small number of bits. As a consequence, there can be long delays between newly generated features and the respective corrective signals for these features. It is known that this delay is the most unwanted aspect of any control system. In this work, we take an existing controlling network (ControlNet) and change the communication between the controlling network and the generation process to be of high-frequency and with large-bandwidth. By doing so, we are able to considerably improve the quality of the generated images, as well as the fidelity of the control. Also, the controlling network needs noticeably fewer parameters and hence is about twice as fast during inference and training time. Another benefit of small-sized models is that they help to democratise our field and are likely easier to understand. We call our proposed network ControlNet-XS. When comparing with the state-of-the-art approaches, we outperform them for pixel-level guidance, such as depth, canny-edges, and semantic segmentation, and are on a par for loose keypoint-guidance of human poses. All code and pre-trained models will be made publicly available.

研究动机与目标

• 解决现有控制网络的根本局限：生成过程与控制过程之间存在延迟的信息流。
• 在不牺牲性能的前提下，减少控制网络的参数量，从而实现更快的训练和推理速度。
• 通过仅专注于引导生成过程，提升控制保真度和图像质量。
• 缓解大型控制网络在冲突控制信号下引入的语义偏差。
• 证明在消除反馈延迟后，极简的控制网络可超越更大、更复杂的同类模型。

提出的方法

• 将控制网络与生成模型的架构解耦，消除控制网络学习生成能力的需求。
• 设计一个轻量级控制网络（ControlNet-XS），处理引导输入（如深度图、边缘图），并直接将控制信号注入扩散模型的去噪模块。
• 通过确保训练和推理过程中生成网络与控制网络之间实现实时双向信息流，彻底消除反馈延迟。
• 为控制网络采用轻量化、非生成式架构，参数量仅为 1.7M 到 55M，远低于 ControlNet 的约 100M。
• 通过可学习的自适应加权（α）在中间去噪模块注入控制信号，保留生成模型原有的能力。
• 在冻结生成模型的前提下端到端训练控制网络，并采用零卷积初始化以稳定训练。

(a) ControlNet [ 72 ]

实验结果

研究问题

• RQ1 能否设计一种控制网络，使其避免学习生成能力，从而提升效率和控制保真度？
• RQ2 消除生成网络与控制网络之间的反馈延迟，是否能带来更小模型的性能提升？
• RQ3 显著更小的控制网络能否在图像质量和控制精度上超越更大、更复杂的模型（如 ControlNet）？
• RQ4 大型控制网络在冲突控制信号下引入的语义偏差有多大，是否会导致生成结果失真？
• RQ5 控制网络的模型大小在面对具有挑战性的非对齐控制输入时，如何影响控制保真度和泛化能力？

主要发现

• 参数量仅为 1.7M 的 ControlNet-XS 在图像质量和控制保真度上均优于 ControlNet，尽管其规模小得多。
• 55M 参数的 ControlNet-XS 在训练和推理阶段均比 ControlNet 快约 2 倍，同时保持或提升了性能。
• 在冲突控制信号下（如在街景中生成蛋糕），ControlNet-XS 表现更优——即使调整控制强度 α，ControlNet 仍会失败。
• 最小的 ControlNet-XS 模型（1.7M 参数）相比更大变体控制保真度略低，但仍保持较强的引导能力，表明存在大小与精度之间的权衡。
• ControlNet-XS 有效缓解了语义偏差：与 ControlNet 不同，后者即使在低 α 下也会对深度图施加语义含义，而 ControlNet-XS 保留了生成模型原有的语义。
• 在 Stable Diffusion XL 上的定量评估表明，ControlNet-XS 的性能优于 T2I-Adapter，且在参数量仅为后者几分之一的情况下，与 ControlNet 相当或更优。

(b) ControlNet-XS (Ours)