[论文解读] Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion

Seongmin Lee, Benjamin Hoover+8 more|arXiv (Cornell University)|May 4, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

Diffusion Explainer 是一款开源、基于网络的交互式可视化工具，通过动态展示和关联其核心组件——文本编码、UNet 的噪声优化以及图像上采样——来解释文本到图像的 Stable Diffusion 如何生成图像。该工具使非专家能够实时探索提示词变化对图像生成轨迹的影响，通过浏览器内交互式探索，无需安装或专用硬件，深入了解提示工程与模型行为。

ABSTRACT

Diffusion-based generative models' impressive ability to create convincing images has garnered global attention. However, their complex structures and operations often pose challenges for non-experts to grasp. We present Diffusion Explainer, the first interactive visualization tool that explains how Stable Diffusion transforms text prompts into images. Diffusion Explainer tightly integrates a visual overview of Stable Diffusion's complex structure with explanations of the underlying operations. By comparing image generation of prompt variants, users can discover the impact of keyword changes on image generation. A 56-participant user study demonstrates that Diffusion Explainer offers substantial learning benefits to non-experts. Our tool has been used by over 10,300 users from 124 countries at https://poloclub.github.io/diffusion-explainer/.

研究动机与目标

• 为日益增长的对复杂生成式 AI 模型（如 Stable Diffusion）的可访问性与直观教育的需求提供解决方案。
• 克服解释文本编码、噪声优化与图像生成之间复杂、迭代性相互作用的挑战，使非专家也能理解。
• 通过对比两个相关提示在时间步长上的生成轨迹，使用户能够发现提示工程对图像生成的影响。
• 提供一种轻量级、开源、基于网络的工具，可在浏览器中本地运行，无需安装或高端硬件。
• 支持政策制定者、艺术家和公众理解 AI 生成图像的生成机制，尤其针对伦理与署名相关问题。

提出的方法

• 该工具将 Stable Diffusion 架构的可视化概览与核心组件的交互式动画视图相结合：文本表示生成器、图像表示精炼器、时间步控制器和图像上采样器。
• 采用多级抽象界面，使用户能够流畅地在高层概览与操作细节视图之间切换，例如分词、向量编码、噪声预测和精炼步骤。
• 文本操作视图展示提示词如何通过 CLIP 文本编码器进行分词和嵌入，而图像操作视图则可视化由 UNet 和调度器引导的迭代去噪过程。
• 文本-图像关联解释动态映射文本向量中的语义内容到对应图像特征，说明文本指导如何塑造视觉输出。
• 交互式指导解释允许用户实时调整指导尺度，并观察其对图像质量和提示词遵循度的影响。
• 时间步控制器使用户能够逐步浏览每个精炼迭代过程，可视化图像质量与提示词对齐度的逐步提升。

Figure 1: Diffusion Explainer tightly integrates different levels of abstractions to help users conceptually connect the overview of Stable Diffusion’s structure with the underlying operations of each component. To learn how Stable Diffusion converts a text prompt into vector representations, users

实验结果

研究问题

• RQ1 如何通过交互式可视化使复杂、迭代的扩散过程在文本到图像生成中对非专家更易理解？
• RQ2 文本提示中的微小变化在多大程度上会改变 Stable Diffusion 中图像表示精炼的轨迹？
• RQ3 指导尺度在生成过程中如何影响提示词遵循度与图像质量之间的平衡？
• RQ4 交互式、基于浏览器的工具是否能有效解释文本编码与图像生成之间的相互作用，而无需机器学习专业知识？
• RQ5 通过观察图像表示在时间步长上的可视化演化，用户能获得哪些关于提示工程的洞察？

主要发现

• 用户可观察到，仅在‘a beautiful cityscape’中添加‘very very very’这类修饰语，即可在第 24 步开始导致图像表示轨迹显著偏离，表明此类修饰语可能极大改变生成结果。
• 该工具揭示，像‘a cute and adorable bunny... Pixar character’这类提示词会引导图像生成过程进入独特且稳定的轨迹，从而保留特定风格属性（如姿势或角色设计）。
• 将指导尺度从 1 调整至 7 再到 20 的实验表明，较低值产生模糊或嘈杂的图像，而较高值则导致过度夸张，而 7 的值在提示词遵循度与真实感之间达到最佳平衡。
• 对两个相关提示的可视化对比显示，即使措辞上的细微差异也会导致图像表示的显著分歧，凸显扩散过程对提示语句表达的敏感性。
• 时间步控制器使用户能够追踪图像质量如何逐步提升，可见纹理、结构和提示词对齐度在时间步长中持续改善。
• 该工具使用户能够识别出，某些提示修饰语（如重复）可能可靠地激活特定神经网络区域，以可预测的方式影响最终图像构图。

Figure 2: Users learn how Stable Diffusion incrementally refines noise into the vector representation of a high-resolution image that adheres to the text prompt by clicking the Image Representation Refiner in the high-level overview, which smoothly expands to (A) the Image Operation View that demons