[論文レビュー] Adding Conditional Control to Text-to-Image Diffusion Models

Lvmin Zhang, Rao, Anyi+1 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Neuroimaging Techniques and Applications被引用数 204

ひとこと要約

ControlNet は frozen backbone と trainable コピーをゼロ初期化済みの畳み込みで結合することで、訓練可能な条件付き制御を大規模な事前学習済みテキスト-画像拡散モデルに追加し、エッジ、深度、姿勢など多様な条件付けを最小のデータと計算量で実現します。

ABSTRACT

We present ControlNet, a neural network architecture to add spatial conditioning controls to large, pretrained text-to-image diffusion models. ControlNet locks the production-ready large diffusion models, and reuses their deep and robust encoding layers pretrained with billions of images as a strong backbone to learn a diverse set of conditional controls. The neural architecture is connected with "zero convolutions" (zero-initialized convolution layers) that progressively grow the parameters from zero and ensure that no harmful noise could affect the finetuning. We test various conditioning controls, eg, edges, depth, segmentation, human pose, etc, with Stable Diffusion, using single or multiple conditions, with or without prompts. We show that the training of ControlNets is robust with small (<50k) and large (>1m) datasets. Extensive results show that ControlNet may facilitate wider applications to control image diffusion models.

研究の動機と目的

• プロンプトを超えた、テキストから画像への拡散プロセスにおけるより細粒度の空間制御を促進する。
• 事前学習済みモデルを凍結してバックボーンを保存するエンドツーエンドのファインチューニング手法を提案する。
• エッジ、深度、姿勢、セグメンテーションなど多様な条件入力を示し、データセットサイズの違いに対する頑健性を評価する。
• ControlNet が複数の条件信号を組み合わせ、プロンプトあり/なしのいずれでも動作することを示す。

提案手法

• ControlNet を導入する: 冷凍されたバックボーンに接続された、訓練可能な事前学習済み拡散バックボーンのコピーで、ゼロ初期化された 1x1 畳み込みを介して接続される。
• 入力の条件画像（例：エッジ、深度、姿勢）を拡散モデルのブロックに合わせた特徴マップへ変換する条件エンコーダを追加する。
• 元のモデルを凍結したまま、ControlNet コンポーネントのみを訓練して、破滅的忘却を避ける。
• conditioning 画像を潜在拡散の入力と一致する 64x64 の特徴空間へ写像する、tiny encoder E を用いる。
• この手法を Stable Diffusion に適用し、Encoder と中間ブロックに ControlNet ブロックを挿入し、複数の条件信号の組み合わせを可能にする。
• CFG（Classifier-Free Guidance）と CFG 解像度重み付けを活用することで、推論時の条件の影響度を調整する。

実験結果

リサーチクエスチョン

• RQ1 バックボーンを更新せずに、ControlNet は大規模な事前学習済み拡散モデルに対して信頼できる条件付けを可能にするか？
• RQ2 どのような条件モダリティ（エッジ、深度、姿勢、セグメンテーション など）が生成の誘導に有効で、複数の条件はどのように相互作用するか？
• RQ3 異なるトレーニングデータサイズや異なるモデルバリアント（例：単一条件 vs 複数条件）での性能はどうか？
• RQ4 ControlNet 使用時に、条件忠実度と出力品質のバランスをとるために CFG をどのように調整すべきか？

主な発見

手法	結果品質AUR	条件忠実度AUR
PITI [89] (sketch)	1.10 ± 0.05	1.02 ± 0.01
Sketch-Guided [88] (β=1.6)	3.21 ± 0.62	2.31 ± 0.57
Sketch-Guided [88] (β=3.2)	2.52 ± 0.44	3.28 ± 0.72
ControlNet-lite	3.93 ± 0.59	4.09 ± 0.46
ControlNet	4.22 ± 0.43	4.28 ± 0.45

• ControlNet は、プロンプトの有無にかかわらず、エッジ、深度、姿勢、セグメンテーション などの単一または複数の条件入力で Stable Diffusion を操作できる。
• 小規模（<50k）および大規模（>1M）の条件データセットの両方で訓練は堅牢で、バックボーンを凍結しゼロ初期化された接続を使用することで恩恵を受ける。
• ゼロ畳み込みは訓練初期の有害なノイズを抑え、大規模な事前学習済みバックボーンを保持する。
• CFG 解像度重み付けにより、推論時の条件付けの影響を細かく制御し、忠実度を向上させつつ品質を損なわない。
• ユーザー調査と定量指標は、ControlNet が結果品質と条件忠実度で複数のベースラインを上回ることを示している（例：ControlNet の AUR が Sketch-Guided 系より高い）。
• ControlNets はニューラルブロックを再訓練することなく、コミュニティ拡散モデルへ転用できる。