[論文レビュー] On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models

Vedant Singh, Surgan Jandial+4 more|arXiv (Cornell University)|May 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、事前学習された分類器の勾配を逆方向に処理することで得られる非ガウス分布に従う、局所化に配慮した入力ノイズ「オブジェクト局在性ノイズ」を設計することにより、制御可能な画像生成のための拡散モデルの条件付けを提案する。従来の手法がノイズ除去の過程でガイドランスを適用するのに対し、本手法は生成を完全に初期ノイズによって条件づける。これにより、局所化と属性制御が向上し、実験では5000ステップの勾配逆転処理によって得られたノイズが、初期段階のステップよりも顕著に優れた生成忠実度を示している。

ABSTRACT

Conditional image generation has paved the way for several breakthroughs in image editing, generating stock photos and 3-D object generation. This continues to be a significant area of interest with the rise of new state-of-the-art methods that are based on diffusion models. However, diffusion models provide very little control over the generated image, which led to subsequent works exploring techniques like classifier guidance, that provides a way to trade off diversity with fidelity. In this work, we explore techniques to condition diffusion models with carefully crafted input noise artifacts. This allows generation of images conditioned on semantic attributes. This is different from existing approaches that input Gaussian noise and further introduce conditioning at the diffusion model's inference step. Our experiments over several examples and conditional settings show the potential of our approach.

研究の動機と目的

• 拡散モデルにおける条件付き画像生成の際の制御不足、特に特定の意味的属性の局所化と強調の問題を解決すること。
• ノイズ除去の過程でガイドランスを適用するのではなく、入力ノイズそのものを条件づけることで、生成画像における制御性と局所化が向上するかを検討すること。
• 勾配の逆転処理を用いて、構造的で局在性に配慮したノイズを生成する手法を開発すること。
• ノイズの品質と精錬ステップ数が、最終的な画像生成品質および属性整合性に与える影響を評価すること。

提案手法

• 本手法は、事前学習済み分類器（ResNet18）を用いて、kステップのInverting Gradients（IG）アルゴリズムを実行することでオブジェクト局在性ノイズを生成する。初期値としてランダムなガウスノイズを用いる。
• IGプロセスは、ターゲットクラスの活性化を最大化すると同時に、参照画像と整合させるように、勾配に基づいて反復的にノイズを更新する。これにより、局所的な領域が強調される。
• 拡散モデルの学習データ分布から得た学習済み平均および標準偏差を用いて、精錬されたノイズを正規化し、モデルとの互換性を確保する。
• 正規化されたノイズを、事前学習済みのクラス条件付きDDPMの入力として用い、標準的な反復的ノイズ除去プロセスにより画像を生成する。
• 本手法は、中間のIG出力（例：1000、3000、5000ステップ目）を入力ノイズとして直接利用し、サンプリング段階での追加の条件づけを不要にする。
• 本手法は、複数のクラスおよび変換処理における、ノイズ品質と生成忠実度の質的比較およびアブレーションスタディを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 入力ノイズを、オブジェクトの位置や局在性といった意味的属性をエンコードできるように設計することで、拡散モデルの生成を直接制御可能になるか？
• RQ2 入力ノイズの品質と精錬度（例：1000ステップ対5000ステップ）が、生成画像の忠実度および局所化に与える影響は何か？
• RQ3 ノイズ除去の過程でガイドランスを適用するのではなく、入力ノイズそのもので条件づけることで、従来のガイドランスベース手法に比べて制御性や多様性に優れるか、あるいはそれを補完できるか？
• RQ4 同じ局在性構造を持つノイズを複数のクラスや条件に対して再利用することで、一貫性があり属性に整合した画像を生成できるか？

主な発見

• 5000ステップの勾配逆転処理で精錬されたノイズは、1000ステップのものよりも顕著に優れた局所化と画像品質を示し、ノイズ精錬の重要性を裏付けている。
• 同じオブジェクト局在性ノイズを用いることで、複数のクラスにおいて一貫性があり属性に整合した画像を生成でき、一般化可能性と制御の可能性を示している。
• 入力ノイズを回転または反転させると、生成画像にも対応する方向の変化が現れ、ノイズが空間的構造をエンコードしていることを確認している。
• ResNetの特徴マップやFGSM勾配から得た局在性マップを入力ノイズとして用いる場合、IG由来のノイズに比べて明確さに欠ける結果となり、IGがより適したノイズ分布を生成していることが示唆される。
• 生成画像の背景がしばしば抑制される傾向にあり、オブジェクト局在性ノイズが本質的に前面のオブジェクトを強調していることが示唆され、バックグラウンドを除いた生成に有益である可能性がある。