[논문 리뷰] Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion

Seongmin Lee, Benjamin Hoover외 8명|arXiv (Cornell University)|2023. 05. 04.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

Diffusion Explainer는 텍스트-이미지 Stable Diffusion가 이미지를 어떻게 생성하는지 애니메이션화하고 상호 연결된 핵심 구성 요소—텍스트 인코딩, UNet을 통한 노이즈 정련, 이미지 업샘플링—을 설명하는 오픈소스이자 웹 기반의 상호작용 가능한 시각화 도구입니다. 비전문가들이 실시간으로 프롬프트 변형이 이미지 생성 궤적에 미치는 영향을 탐색할 수 있게 하며, 설치나 전용 하드웨어 없이 브라우저 기반으로 상호작용하면서 프롬프트 엔지니어링과 모델 행동에 대한 통찰을 제공합니다.

ABSTRACT

Diffusion-based generative models' impressive ability to create convincing images has garnered global attention. However, their complex structures and operations often pose challenges for non-experts to grasp. We present Diffusion Explainer, the first interactive visualization tool that explains how Stable Diffusion transforms text prompts into images. Diffusion Explainer tightly integrates a visual overview of Stable Diffusion's complex structure with explanations of the underlying operations. By comparing image generation of prompt variants, users can discover the impact of keyword changes on image generation. A 56-participant user study demonstrates that Diffusion Explainer offers substantial learning benefits to non-experts. Our tool has been used by over 10,300 users from 124 countries at https://poloclub.github.io/diffusion-explainer/.

연구 동기 및 목표

• Stable Diffusion와 같은 복잡한 생성형 AI 모델에 대한 접근성 있고 직관적인 교육 수요를 충족시키기 위해.
• 비전문가가 이해할 수 있도록, 텍스트 인코딩, 노이즈 정련, 이미지 생성 간의 복잡하고 반복적인 상호작용을 설명하는 데 어려움을 극복하기 위해.
• 두 개의 관련 프롬프트에 대한 시간대별 궤적을 비교하여 프롬프트 엔지니어링의 영향을 탐색할 수 있도록 하여 이미지 생성에 미치는 영향을 발견하게 하기 위해.
• 설치나 고성능 하드웨어가 필요 없는 경량이며 오픈소스이자 웹 기반의 도구를 제공하여 로컬 브라우저에서 실행되도록 하기 위해.
• 정책 입안자, 예술가, 일반 대중이 AI 생성 이미지의 제작 방식을 이해할 수 있도록 지원하여 윤리적 문제나 저작권 관련 우려에 대비하기 위해.

제안 방법

• 도구는 Stable Diffusion 아키텍처의 시각적 개요와 핵심 구성 요소인 텍스트 표현 생성기, 이미지 표현 정련기, 시간대 제어기, 이미지 업샘플러의 상호작용적이고 애니메이션화된 뷰를 통합합니다.
• 고수준 개요에서부터 토큰화, 벡터 인코딩, 노이즈 예측, 정련 단계와 같은 운영 방식의 세부 뷰까지 유연하게 전환할 수 있는 다수준 추상화 인터페이스를 사용합니다.
• 텍스트 작업 뷰는 CLIP의 텍스트 인코더를 통해 프롬프트가 어떻게 토큰화되고 임bedding되는지 보여주며, 이미지 작업 뷰는 UNet과 스케줄러에 의해 이끌리는 반복적인 노이즈 제거 과정을 시각화합니다.
• 텍스트-이미지 연결 설명은 텍스트 벡터의 의미적 내용을 해당 이미지 특징에 동적으로 매핑하여, 텍스트 가이드라인이 시각적 출력에 어떻게 영향을 주는지 설명합니다.
• 상호작용 가이드라인 설명은 사용자가 실시간으로 가이드라인 스케일을 조절하고, 그에 따른 이미지 품질과 프롬프트 준수 정도의 영향을 관찰할 수 있도록 합니다.
• 시간대 제어기는 각 정련 반복 단계를 단계별로 진행할 수 있도록 하여, 이미지 품질 향상과 프롬프트 준수 정도 향상의 점진적인 개선을 시각화합니다.

Figure 1: Diffusion Explainer tightly integrates different levels of abstractions to help users conceptually connect the overview of Stable Diffusion’s structure with the underlying operations of each component. To learn how Stable Diffusion converts a text prompt into vector representations, users

실험 결과

연구 질문

• RQ1 텍스트-이미지 생성에서 복잡하고 반복적인 디퓨전 과정을 비전문가가 이해할 수 있도록 상호작용적 시각화로 어떻게 접근할 수 있을까?
• RQ2 텍스트 프롬프트의 미세한 변화가 Stable Diffusion의 이미지 표현 정련 궤적에 어느 정도의 영향을 미치는가?
• RQ3 가이드라인 스케일은 생성 과정에서 프롬프트 준수와 이미지 품질 간의 균형에 어떻게 영향을 주는가?
• RQ4 기계 학습 전문 지식 없이도 상호작용적이고 브라우저 기반의 도구가 텍스트 인코딩과 이미지 생성 간의 상호작용을 효과적으로 설명할 수 있는가?
• RQ5 사용자가 시간대에 따라 이미지 표현의 시각화된 진화를 관찰함으로써 프롬프트 엔지니어링에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 사용자는 '아름다운 도시경관'에 '매우 매우 매우'를 추가하는 것과 같은 미세한 프롬프트 변경이 제24단계부터 이미지 표현 궤적의 상당한 분리로 이어지며, 이러한 수식어가 생성 결과에 막대한 영향을 미칠 수 있음을 관찰할 수 있습니다.
• 이 도구는 '귀여운 사랑스러운 토끼… 피크시 캐릭터'와 같은 프롬프트가 특정한 안정적인 궤적을 따라 이미지 생성 과정을 이끌며, 자세나 캐릭터 디자인과 같은 특정 스타일적 특성을 유지함을 드러냅니다.
• 가이드라인 스케일을 1에서 7로, 20으로 조정함으로써 낮은 값은 모호하거나 노이즈가 많은 이미지를 생성하고, 높은 값은 과도한 과장이 일어나며, 7의 값이 프롬프트 준수와 현실감의 최적의 균형을 이룹니다.
• 두 개의 유사한 프롬프트를 비교함으로써, 어휘적 차이가 조그만 것이라도 이미지 표현의 분리로 이어질 수 있음을 보여주며, 디퓨전 과정이 프롬프트 어조에 얼마나 민감한지 강조합니다.
• 시간대 제어기는 이미지 품질 향상이 점진적으로 이루어지는 방식을 추적할 수 있게 하며, 시간대에 따라 질감, 구조, 프롬프트 준수 정도 향상의 명확한 개선이 관찰됩니다.
• 도구를 통해 사용자는 반복과 같은 특정 프롬프트 수식어가 특정 신경망 영역을 안정적으로 자극하여 최종 이미지 구성에 예측 가능한 방식으로 영향을 미칠 수 있음을 식별할 수 있습니다.

Figure 2: Users learn how Stable Diffusion incrementally refines noise into the vector representation of a high-resolution image that adheres to the text prompt by clicking the Image Representation Refiner in the high-level overview, which smoothly expands to (A) the Image Operation View that demons