[論文レビュー] Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion

Seongmin Lee, Benjamin Hoover+8 more|arXiv (Cornell University)|May 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

Diffusion Explainer は、テキストから画像を生成するテキスト画像 Stable Diffusion のコアコンポーネントであるテキスト符号化、UNet を用いたノイズの最適化、画像のアップサンプリングをアニメートおよびリンクすることで、画像生成の仕組みを説明するオープンソースでウェブベースのインタラクティブ可視化ツールです。非専門家がリアルタイムでプロンプトの違いが画像生成の軌道に与える影響を探索でき、インストールや専用のハードウェアが不要なブラウザベースのインタラクティブな方法でプロンプト工学やモデルの挙動に関する洞察を得ることができます。

ABSTRACT

Diffusion-based generative models' impressive ability to create convincing images has garnered global attention. However, their complex structures and operations often pose challenges for non-experts to grasp. We present Diffusion Explainer, the first interactive visualization tool that explains how Stable Diffusion transforms text prompts into images. Diffusion Explainer tightly integrates a visual overview of Stable Diffusion's complex structure with explanations of the underlying operations. By comparing image generation of prompt variants, users can discover the impact of keyword changes on image generation. A 56-participant user study demonstrates that Diffusion Explainer offers substantial learning benefits to non-experts. Our tool has been used by over 10,300 users from 124 countries at https://poloclub.github.io/diffusion-explainer/.

研究の動機と目的

• テキストから画像を生成するような複雑な生成的 AI モデル（例：Stable Diffusion）について、アクセスしやすく直感的な教育のニーズに対応すること。
• テキスト符号化、ノイズの最適化、画像生成の間の複雑で反復的な相互作用を、非専門家が理解できる形で説明する課題を克服すること。
• 2つの関連するプロンプトの時間ステップにわたる軌道を比較することで、プロンプト工学の影響が画像生成に与える影響をユーザーが発見できるようにすること。
• インストール不要、高スペックのハードウェアを必要としない、軽量でオープンソースのウェブベースのツールを提供すること。
• 政策立案者、アーティスト、一般市民が、AI 生成画像の生成方法を理解できるようにし、特に倫理的配慮や出典に関する懸念に対応すること。

提案手法

• ツールは、Stable Diffusion のアーキテクチャの視覚的概要と、そのコアコンポーネント（テキスト表現生成器、画像表現の最適化器、時間ステップコントローラ、画像アップサンプラー）のインタラクティブでアニメートされたビューを統合している。
• 高レベルの概要から詳細な操作（トークン化、ベクトル符号化、ノイズ予測、最適化ステップなど）のビューへのなめらかな切り替えが可能な、多段階の抽象化インターフェースを採用している。
• テキスト操作ビューでは、CLIP のテキストエンコーダーを用いたプロンプトのトークン化と埋め込みが表示される。一方、画像操作ビューでは、UNet とスケジューラーに従ってガイドされた反復的なノイズ除去プロセスが可視化される。
• テキストと画像のリンク説明は、テキストベクトルからの意味的コンテンツを対応する画像特徴に動的にマッピングし、テキストのガイドラインが視覚的出力にどのように影響を与えるかを説明する。
• インタラクティブなガイドライン説明では、ユーザーがリアルタイムでガイドラインスケールを調整し、それが画像品質やプロンプトへの適合性に与える影響を観察できる。
• 時間ステップコントローラーを用いることで、各最適化イテレーションをステップバイステップで進め、画像品質の段階的向上とプロンプトへの整合性の向上を可視化できる。

Figure 1: Diffusion Explainer tightly integrates different levels of abstractions to help users conceptually connect the overview of Stable Diffusion’s structure with the underlying operations of each component. To learn how Stable Diffusion converts a text prompt into vector representations, users

実験結果

リサーチクエスチョン

• RQ1 テキストから画像を生成する際の複雑で反復的な拡散プロセスを、インタラクティブな可視化によって非専門家が理解できるようにするにはどうすればよいか？
• RQ2 テキストプロンプトのわずかな変更が、Stable Diffusion の画像表現の最適化軌道にどの程度影響を与えるか？
• RQ3 ガイドラインスケールが生成過程において、プロンプトへの適合性と画像品質のバランスにどのように影響を与えるか？
• RQ4 機械学習の専門知識が不要な状態で、インタラクティブでウェブベースのツールが、テキスト符号化と画像生成の相互作用を効果的に説明できるか？
• RQ5 ユーザーは、時間ステップにわたる画像表現の可視化された進化を観察することで、プロンプト工学に関するどのような洞察を得られるか？

主な発見

• ユーザーは、『美しい都市風景』に『とてもとてもとても』を追加するなど、わずかなプロンプトの変更が、ステップ24以降で画像表現の軌道に顕著な乖離を引き起こすのを観察できる。これは、このような修飾語が生成結果に劇的に影響を与える可能性を示している。
• このツールは、『かわいらしいでかわいいウサギ…ピクサーのキャラクター』のようなプロンプトが、ポーズやキャラクターデザインといった特定のスタイル的特徴を保持する明確で安定した軌道に従って画像生成を誘導していることを明らかにしている。
• ガイドラインスケールを 1 から 7 に、20 に変更することで、低い値では曖昧またはノイズが多い画像が生成される一方、高い値では過剰に強調された出力が得られ、7 がプロンプトへの適合性と現実性の両方のバランスを最良に保つことが示された。
• 2つの関連するプロンプトの可視化比較から、言葉のわずかな違いですら、画像表現の分岐を引き起こすことが判明し、拡散プロセスがプロンプトの表現に極めて敏感であることが強調された。
• 時間ステップコントローラーを用いることで、テクスチャ、構造、プロンプトへの整合性の向上が時間経過とともに段階的に観察できる。
• このツールにより、繰り返しのプロンプト修飾語が特定のニューラルネットワーク領域を一貫して活性化し、最終的な画像構成に予測可能な影響を与えることが特定された。

Figure 2: Users learn how Stable Diffusion incrementally refines noise into the vector representation of a high-resolution image that adheres to the text prompt by clicking the Image Representation Refiner in the high-level overview, which smoothly expands to (A) the Image Operation View that demons