[논문 리뷰] ProSpect: Prompt Spectrum for Attribute-Aware Personalization of Diffusion Models

Yuxin Zhang, Weiming Dong외 7명|arXiv (Cornell University)|2023. 05. 25.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 확산 모델의 단계별 노이즈 제거 과정을 활용하여 생성 단계 동안 텍스트 토큰 임베딩의 스펙트럼으로 이미지를 표현함으로써 속성 인식 개인화를 가능하게 하는 새로운 방법 ProSpect를 제안한다. 확장된 프ompt 스펙트럼 공간 $\mathcal{P}^{*}$ 를 도입함으로써, 파라미터 재학습 없이도 소재, 스타일, 콘텐츠, 레이아웃 편집에 대해 뛰어난 분리성과 제어 가능성을 달성하며, 단일 이미지 입력으로도 고해상도이고 직관적인 속성 조작을 가능하게 한다.

ABSTRACT

Personalizing generative models offers a way to guide image generation with user-provided references. Current personalization methods can invert an object or concept into the textual conditioning space and compose new natural sentences for text-to-image diffusion models. However, representing and editing specific visual attributes such as material, style, and layout remains a challenge, leading to a lack of disentanglement and editability. To address this problem, we propose a novel approach that leverages the step-by-step generation process of diffusion models, which generate images from low to high frequency information, providing a new perspective on representing, generating, and editing images. We develop the Prompt Spectrum Space P*, an expanded textual conditioning space, and a new image representation method called \sysname. ProSpect represents an image as a collection of inverted textual token embeddings encoded from per-stage prompts, where each prompt corresponds to a specific generation stage (i.e., a group of consecutive steps) of the diffusion model. Experimental results demonstrate that P* and ProSpect offer better disentanglement and controllability compared to existing methods. We apply ProSpect in various personalized attribute-aware image generation applications, such as image-guided or text-driven manipulations of materials, style, and layout, achieving previously unattainable results from a single image input without fine-tuning the diffusion models. Our source code is available athttps://github.com/zyxElsa/ProSpect.

연구 동기 및 목표

• 기존 확산 모델 개인화 방법에서 소재, 스타일, 레이아웃과 같은 시각적 속성에 대한 분리성과 편집 가능성의 부족을 해결하기 위해.
• 확산 모델의 단계별 생성 과정이 시각적 속성의 주파수 성분(예: 저주파수 레이아웃, 고주파수 소재)과 어떻게 관련되어 있는지 탐구하기 위해.
• 노이즈 제거 단계 전반에 걸쳐 속성별 정보를 포착하는 새로운 텍스트 조건부 공간 $\mathcal{P}^{*}$ 를 개발하기 위해.
• 이미지 참조를 단계별 텍스트 임베딩으로 역으로 변환하여 정밀한 속성 인식 이미지 생성 및 편집이 가능한 ProSpect라는 방법을 설계하기 위해.

제안 방법

• 이 방법은 확산 과정의 다양한 노이즈 제거 단계를 별도의 조건부 포인트로 모델링하는 확장된 텍스트 조건부 공간인 프ompt 스펙트럼 공간 $\mathcal{P}^{*}$ 를 도입한다.
• ProSpect는 확산 과정의 각 단계에 대해 토큰 임베딩을 최적화함으로써, 다양한 주파수에서 속성별 정보를 포착한다.
• 확산 모델이 레이아웃(저주파수) → 콘텐츠 → 소재/스타일(고주파수)의 순서로 이미지를 생성한다는 관찰을 활용하여 단계별 속성 분리가 가능해진다.
• 각 노이즈 제거 단계에서 고유한 텍스트 토큰 임베딩을 계산하고 저장함으로써 생성 과정 전반에 걸친 조건부 스펙트럼을 형성한다.
• 특정 단계의 임베딩을 선택적으로 수정함으로써 속성 편집이 가능해지며, 예를 들어 고주파수 단계의 임베딩을 수정함으로써 소재를 변경할 수 있다.
• 참조 이미지 또는 프om프트에서 유래한 단계별 임베딩을 조합함으로써 이미지 유도 및 텍스트 유도 생성을 지원하며, 복잡한 속성 재조합이 가능해진다.

실험 결과

연구 질문

• RQ1 확산 모델의 단계별 노이즈 제거 과정이 소재, 스타일, 레이아웃과 같은 시각적 속성의 더 나은 분리성 달성에 활용될 수 있는가?
• RQ2 확산 모델의 특정 노이즈 제거 단계와 시각적 속성의 주파수 성분 간의 상관관계는 어떠한가?
• RQ3 확장된 텍스트 조건부 공간 $\mathcal{P}^{*}$ 는 전역 조건부 적용 대비 속성 인식 이미지 생성의 정밀도와 제어 가능성을 향상시킬 수 있는가?
• RQ4 ProSpect는 확산 모델의 재학습 없이도 개별 속성 편집을 얼마나 잘 수행할 수 있는가?
• RQ5 ProSpect는 한 이미지에서 레이아웃, 다른 이미지에서 콘텐츠, 세 번째 이미지에서 스타일을 조합하는 다중 속성 편집에 일반화될 수 있는가?

주요 결과

• ProSpect는 소재, 스타일, 콘텐츠, 레이아웃을 확산 과정의 별도 단계로 분리함으로써 독립적인 편집이 가능하도록 하여 뛰어난 속성 분리성을 달성한다.
• 정성적 결과를 통해 임베딩 노이즈나 왜곡 없이 정확한 속성 전달이 이루어지는 것으로 확인되었으며, 이는 고해상도의 정밀한 이미지 생성과 더불어 향상된 정확성과 표현력을 보여준다.
• 레이아웃 유도 생성에서 ProSpect는 복잡한 구성(예: '딸기cup케이크의 숟가락')과 중심 정렬, 반사와 같은 구조적 특징을 참조 이미지에서 성공적으로 전달한다.
• 다중 속성 편집에서 ProSpect는 한 이미지에서 레이아웃, 다른 이미지에서 콘텐츠, 세 번째 이미지에서 스타일을 조합하여 상대적인 공간 배치와 시각적 특징을 유지한다.
• Textual Inversion과 DreamBooth와 같은 기존 방법에 비해 속성 편집 정밀도와 제어 가능성이 뛰어나며, 특히 최소한의 왜곡으로 의미적으로 일관된 결과를 생성하는 데서 슈퍼리어한 성능을 보였다.
• ProSpect는 네 개의 조각상과 같은 여러 참조 이미지에 적용되었을 때도 소수의 예시로도 더 높은 다양성과 품질을 가진 이미지 생성을 가능하게 하여 기존 방법을 능가한다.