[論文レビュー] The Stable Artist: Steering Semantics in Diffusion Latent Space

Manuel Brack, Patrick Schramowski+3 more|arXiv (Cornell University)|Dec 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

The Stable Artist は、マスクや微調整を用いずに複数の意味的方向に沿って潜在空間の軌道を制御するための、細分化された反復的制御を可能にする Semantische Führungssteuerung (SEGA) を導入した。これは、高品質な画像編集、スタイル転送、コンポジション制御を可能にし、P2P や Composable Diffusion よりも多概念編集および抽象的概念の意味的プローブにおいて優れている。

ABSTRACT

Large, text-conditioned generative diffusion models have recently gained a lot of attention for their impressive performance in generating high-fidelity images from text alone. However, achieving high-quality results is almost unfeasible in a one-shot fashion. On the contrary, text-guided image generation involves the user making many slight changes to inputs in order to iteratively carve out the envisioned image. However, slight changes to the input prompt often lead to entirely different images being generated, and thus the control of the artist is limited in its granularity. To provide flexibility, we present the Stable Artist, an image editing approach enabling fine-grained control of the image generation process. The main component is semantic guidance (SEGA) which steers the diffusion process along variable numbers of semantic directions. This allows for subtle edits to images, changes in composition and style, as well as optimization of the overall artistic conception. Furthermore, SEGA enables probing of latent spaces to gain insights into the representation of concepts learned by the model, even complex ones such as 'carbon emission'. We demonstrate the Stable Artist on several tasks, showcasing high-quality image editing and composition.

研究の動機と目的

• テキストから画像への拡散モデルにおける細分化されたインタラクティブ制御の欠如、特に小さなプロンプトの変更が予測不能な画像の変化を引き起こすという問題に取り組む。
• アーティストが画像生成を複数の意味的方向に反復的に制御できるようにし、画像マスクやアテンションベースのソフトマスクに依存しない。
• 1 つの統合フレームワーク内で、スタイル転送、コンポジションの変更、テクスチャの操作といった複雑な編集タスクをサポートする。
• 抽象的概念（例：「炭素排出」）の潜在空間表現をプローブし、モデルの意味論的理解を可能にする。
• テキスト以外の入力、例えば画像やテキスト逆引きからの埋め込みにも適用可能な汎用的な条件付けメカニズムを提供する。

提案手法

• SEGA は、テキストプロンプトとその編集内容からノイズを予測する潜在拡散モデルを用い、予測ノイズの差分により潜在空間における方向的ガイドランスを計算する。
• 学習されたスケーリング係数 sₑⁱ と、元のプロンプトと編集済みプロンプトのノイズ予測値の差分をしきい値処理することで、ガイドランスベクトル μₜ を計算する。
• 元のプロンプトのノイズが編集済みプロンプトのノイズより大きい場合に正または負のガイドランスを適用し、可学習しきい値 λ を用いる。
• 最終的なガイドランス γₜ は、個々の概念ガイドランスベクトルの重み付き和であり、必要に応じて νₜ を介した残留ノイズ注入が可能である。
• モーメンタムベースのノイズ補正を用いて反復的に潜在コードを更新し、βₘ が過去のガイドランスの記憶を制御する。
• この手法は潜在空間内で完全に動作し、モデルの微調整もマスクの明示的指定も不要であり、多様な入力に柔軟に条件づけられる。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における意味的ガイドランスは、画像マスクやアテンションベースのソフトマスクに依存せずに、細分化された反復的画像編集を可能にするか？
• RQ2 複数の意味的概念を同時に画像生成中に条件づける方法は何か？ また、それらの影響強度を制御できるか？
• RQ3 抽象的で複雑な概念（例：「炭素排出」）の潜在空間表現をプローブし、拡散モデル内での表現の理解が可能か？
• RQ4 SEGA は、自然言語埋め込みで観察されたのと同様の概念算術を、視覚ドメインにおいても実現できるか？
• RQ5 P2P や Composable Diffusion よりも編集品質とコンポジションの忠実度において、SEGA はどの程度優れているか？

主な発見

• SEGA は、各意味的編集の強度と方向を完全に制御可能な高品質な多概念画像編集を実現し、コンポジションとスタイルの融合において P2P や Composable Diffusion を上回っている。
• この手法は、城の画像をヴァン・ゴッホ風の絵画に変換する忠実なスタイル転送を成功させ、元のコンポジションを保持している。
• SEGA は複数の概念を同時に編集可能であり、P2P が複数の編集を一度に含むプロンプトで使用する際に生じる余分なオブジェクトの複製などのアーティファクトを回避している。
• このアプローチにより、抽象的概念の潜在空間表現のプローブが可能であり、非視覚的で複雑な概念（例：「炭素排出」）ですら意味的にガイド可能であることが示された。
• SEGA は画像生成における概念算術を可能にし、従来は自然言語埋め込みでのみ観察されていた能力を視覚ドメインへと拡張した。
• この手法は汎用的であり、モデルの微調整を必要とせず、テキスト埋め込み、画像プロンプト、テキスト逆引きからの埋め込みなど、さまざまな条件づけ入力に適用可能である。