[논문 리뷰] MagicMix: Semantic Mixing with Diffusion Models

Jun Hao Liew, Hanshu Yan외 2명|arXiv (Cornell University)|2022. 10. 28.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

MagicMix는 사전 훈련된 확산 모델을 사용하여 두 개의 서로 다른 의미(예: 코르기 + 커피 머신)를 융합함으로써 새로운 사진처럼 현실적인 개념을 생성하는 새로운 텍스트-이미지 생성 작업인 의미 혼합(semantic mixing)을 도입한다. 이는 확산 모델의 점진적 노이즈 제거 과정을 활용하여, 먼저 노이즈 또는 이미지에서 거친 레이아웃을 생성한 후, 새로운 의미 개념을 통합함으로써 재학습이나 공간 마스크 없이도 고해상도 결과를 달성한다.

ABSTRACT

Have you ever imagined what a corgi-alike coffee machine or a tiger-alike rabbit would look like? In this work, we attempt to answer these questions by exploring a new task called semantic mixing, aiming at blending two different semantics to create a new concept (e.g., corgi + coffee machine -- > corgi-alike coffee machine). Unlike style transfer, where an image is stylized according to the reference style without changing the image content, semantic blending mixes two different concepts in a semantic manner to synthesize a novel concept while preserving the spatial layout and geometry. To this end, we present MagicMix, a simple yet effective solution based on pre-trained text-conditioned diffusion models. Motivated by the progressive generation property of diffusion models where layout/shape emerges at early denoising steps while semantically meaningful details appear at later steps during the denoising process, our method first obtains a coarse layout (either by corrupting an image or denoising from a pure Gaussian noise given a text prompt), followed by injection of conditional prompt for semantic mixing. Our method does not require any spatial mask or re-training, yet is able to synthesize novel objects with high fidelity. To improve the mixing quality, we further devise two simple strategies to provide better control and flexibility over the synthesized content. With our method, we present our results over diverse downstream applications, including semantic style transfer, novel object synthesis, breed mixing, and concept removal, demonstrating the flexibility of our method. More results can be found on the project page https://magicmix.github.io

연구 동기 및 목표

• 두 개의 서로 다른 의미 개념을 하나의 새로운, 일관된 객체로 융합하는 데 초점을 맞춘 새로운 이미지 생성 작업인 의미 혼합을 도입하는 것.
• 실제로 존재하지 않는 하이브리드 개념(예: 코르기 유사 커피 머신)에 대해 신뢰할 수 있고 고해상도의 이미지를 생성하는 데 도전하는 것.
• 사전 훈련된 확산 모델을 사용하여 공간 레이아웃과 기하학적 구조를 유지하면서도, 민감하고 제어 가능한 의미 융합을 가능하게 하는 방법을 개발하는 것.
• 다양한 창작적 응용 분야에서의 유연성과 적용 가능성을 입증하는 것—예를 들어, 새로운 객체 합성, 품종 혼합, 개념 제거 등.

제안 방법

• 텍스트 조건부 확산 모델의 점진적 노이즈 제거 성질을 활용하여, 초기에는 거친 레이아웃과 형태가 나타나고, 후기에는 의미적 세부 정보가 나타나는 방식.
• 순수한 가우시안 노이즈에서 텍스트 프롬프트를 사용해 점진적으로 노이즈를 제거함으로써 초기 거친 레이아웃을 생성하거나(예: '코르기의 사진'), 한 개념의 실제 이미지를 손상시켜 초기 레이아웃을 생성.
• 후기 노이즈 제거 단계에서 조건부 프롬프팅을 통해 두 번째 의미 개념(예: '커피 머신')을 통합하여 의미적 콘텐츠 생성을 유도.
• 두 단계로 나누어 노이즈 제거하는 과정을 적용: 먼저 레이아웃/기하학적 구조를 확립하고, 이후 조건부 어텐션 조절을 통해 의미 콘텐츠를 통합하고 정제.
• 융합 품질과 영향력 향상을 위해 두 가지 제어 전략을 도입하여 의미 일관성과 시각적 정확도를 향상.
• 이미지 유도 모드와 텍스트 전용(텍스트-텍스트) 혼합 모드를 모두 지원하여, 입력 이미지 없이도 텍스트만으로 레이아웃을 추론할 수 있도록 함.

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델이 재학습 없이도 두 개의 관련 없는 의미를 의미적으로 융합하여 새로운 하이브리드 개념을 생성할 수 있는가?
• RQ2 확산 모델의 점진적 노이즈 제거 과정을 어떻게 활용하여 레이아웃 생성과 의미 콘텐츠 통합을 분리할 수 있는가?
• RQ3 두 개념 간의 형태나 구조적 유사성이 전혀 없는 경우 의미 혼합의 한계는 무엇인가?
• RQ4 MagicMix는 품종 혼합, 개념 제거, 의미 스타일 전이와 같은 다양한 창작적 응용 분야에서 어느 정도 지원할 수 있는가?
• RQ5 공간 마스크나 미세조정 없이도 합성된 하이브리드 객체의 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• MagicMix는 재학습이나 공간 마스크 없이도 '코르기 유사 커피 머신'이나 '토끼-호랑이 하이브리드'와 같은 새로운 하이브리드 개념의 고해상도 사진처럼 현실적인 이미지를 성공적으로 생성한다.
• 이 방법은 원본 개념의 공간 레이아웃과 기하학적 구조를 유지하면서도, 두 번째 개념의 의미적 특징을 효과적으로 통합한다.
• 품종 혼합 실험 결과, MagicMix는 서로 다른 동물 품종(예: 라바도르와 불도그)을 융합하여 귀의 형태나 얼굴 구조와 같은 주요 특징을 유지할 수 있음을 입증한다.
• 개념 제거 기능은 이미지-텍스트 간의 교차 어텐션에 음성 가중치를 적용하여 달성되며, 원래 의미(예: '과일' → '꽃')를 교체하면서도 원래 레이아웃을 유지할 수 있다.
• 텍스트 전용 의미 혼합은 가능하지만, 시각적 가이던스가 없기 때문에 예측 불가능한 레이아웃을 유도하므로 주요 한계점으로 지적된다.
• 형태적 유사성이 없는 개념(예: '버스'와 '고양이') 간의 융합에서는 복합된 결과가 아닌 융합되지 않은 조합된 출력이 발생하는 실패 사례가 나타나며, 이는 향후 구조적 정렬 기법 개발이 필요함을 시사한다.