[論文レビュー] ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems

Denis Zavadski, Johann-Friedrich Feiden+1 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

ControlNet-XS は、生成モデルの制御ネットワークを生成能力から分離することで、従来の ControlNet のような方法で生じるフィードバック遅延を解消し、テキストから画像への拡散制御を再考する。これにより、より小型で高速なネットワーク（1.7M〜55Mパラメータ）が、より優れた画像品質と制御忠実度を達成でき、大規模なモデルに劣らず、学習および推論において約2倍速くなる。

ABSTRACT

The field of image synthesis has made tremendous strides forward in the last years. Besides defining the desired output image with text-prompts, an intuitive approach is to additionally use spatial guidance in form of an image, such as a depth map. In state-of-the-art approaches, this guidance is realized by a separate controlling model that controls a pre-trained image generation network, such as a latent diffusion model. Understanding this process from a control system perspective shows that it forms a feedback-control system, where the control module receives a feedback signal from the generation process and sends a corrective signal back. When analysing existing systems, we observe that the feedback signals are timely sparse and have a small number of bits. As a consequence, there can be long delays between newly generated features and the respective corrective signals for these features. It is known that this delay is the most unwanted aspect of any control system. In this work, we take an existing controlling network (ControlNet) and change the communication between the controlling network and the generation process to be of high-frequency and with large-bandwidth. By doing so, we are able to considerably improve the quality of the generated images, as well as the fidelity of the control. Also, the controlling network needs noticeably fewer parameters and hence is about twice as fast during inference and training time. Another benefit of small-sized models is that they help to democratise our field and are likely easier to understand. We call our proposed network ControlNet-XS. When comparing with the state-of-the-art approaches, we outperform them for pixel-level guidance, such as depth, canny-edges, and semantic segmentation, and are on a par for loose keypoint-guidance of human poses. All code and pre-trained models will be made publicly available.

研究の動機と目的

• 既存の制御ネットワークの根本的限界である、生成プロセスと制御プロセス間の遅延した情報伝達を解消すること。
• 性能を損なわず制御ネットワークのパラメータ数を削減し、より速い学習および推論を実現すること。
• 制御ネットワークを生成プロセスのガイドに特化させることで、制御忠実度と画像品質を向上させること。
• 大規模な制御ネットワークが、矛盾する制御信号の下で生成を歪めるような意味的バイアスを低減すること。
• フィードバック遅延が解消された場合、最小限の制御ネットワークが、より大規模で複雑な対応モデルを上回ることを実証すること。

提案手法

• 制御ネットワークを生成モデルのアーキテクチャから分離し、制御ネットワークが生成能力を学習する必要がなくなるようにすること。
• ガイド入力（例：深度マップ、エッジマップ）を処理し、拡散モデルのノイズ除去ブロックに直接制御信号を注入する、軽量な制御ネットワーク（ControlNet-XS）を設計すること。
• 学習および推論中に生成ネットワークと制御ネットワークの間でリアルタイムかつ双方向の情報伝達を確保することで、フィードバック遅延を排除すること。
• 生成能力を持たない軽量なアーキテクチャを制御ネットワークに採用し、パラメータ数を ControlNet の約100M に対して 1.7M 〜 55M にまで削減すること。
• 中間のノイズ除去ブロックで、学習可能な適応的重み（α）を介して制御信号を注入することで、生成モデルの元の能力を保持すること。
• 生成モデルを固定したまま、エンドツーエンドで制御ネットワークを学習し、訓練の安定化のためゼロ畳み込み初期化を用いること。

(a) ControlNet [ 72 ]

実験結果

リサーチクエスチョン

• RQ1 生成能力を学習しなくてもよい制御ネットワークを設計でき、効率性と制御忠実度が向上するか？
• RQ2 生成ネットワークと制御ネットワーク間のフィードバック遅延を解消することで、より小さなモデルでも性能が向上するか？
• RQ3 顕著に小型な制御ネットワークが、ControlNet や他のより大規模で複雑なモデルを上回る画像品質と制御精度を達成できるか？
• RQ4 大規模な制御ネットワークが、矛盾する制御信号の下でどれほど意味的バイアスを引き起こし、生成を歪めるか？
• RQ5 制御ネットワークのモデルサイズが、非整合な制御入力の下で制御忠実度と一般化性能に与える影響はどの程度か？

主な発見

• 1.7Mパラメータの ControlNet-XS は、大幅に小型であるにもかかわらず、ControlNet よりも高い画像品質と制御忠実度を達成している。
• 5500万パラメータの ControlNet-XS は、学習および推論において ControlNet よりも約2倍速く、性能は維持または向上している。
• ControlNet-XS は、矛盾する制御信号（例：街中にケーキを生成）の下でも優れた結果を出す。ControlNet は、制御強度αを調整しても、そのような状況では失敗する。
• 最小の ControlNet-XS（1.7Mパラメータ）は、より大きなバージョンに比べて制御忠実度が若干低いが、依然として強力なガイドを維持しており、サイズと精度のトレードオフが生じていることが示された。
• ControlNet-XS は意味的バイアスを軽減する：ControlNet は、αが低くても深度マップに意味的意味を強制するが、ControlNet-XS は生成モデルの元の意味を保持する。
• Stable Diffusion XL における定量的評価では、ControlNet-XS は T2I-Adapter を上回り、ControlNet と同等またはそれを上回る性能を、パラメータ数のわずか数分の1で達成している。

(b) ControlNet-XS (Ours)