[논문 리뷰] Sketch-Guided Text-to-Image Diffusion Models

Andrey Voynov, Kfir Aberman외 1명|arXiv (Cornell University)|2022. 11. 24.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 사전에 학습된 텍스트-이미지 확산 모델을 추론 중에 스케치와 같은 공간 맵을 사용하여 지도할 수 있는 경량이며 학습 가능한 잠재 지도 예측기(LGP)를 소개한다. 주요 모델을 재학습하지 않고도 작동한다. LGP는 수천 장의 이미지에 대해 학습된 픽셀별 MLP로서, 노이즈가 섞인 잠재 특징을 공간 지도로 변환하는 법을 학습한다. 이로 인해 스케치 레이아웃을 존중하면서도 고해상도이고 다양한 이미지 생성이 가능해지며, 수작 또는 도메인 외부 스케치일 경우에도 성능이 유지된다. 또한 텍스트 프롬프트와의 의미적 일치도 유지된다.

ABSTRACT

Text-to-Image models have introduced a remarkable leap in the evolution of machine learning, demonstrating high-quality synthesis of images from a given text-prompt. However, these powerful pretrained models still lack control handles that can guide spatial properties of the synthesized images. In this work, we introduce a universal approach to guide a pretrained text-to-image diffusion model, with a spatial map from another domain (e.g., sketch) during inference time. Unlike previous works, our method does not require to train a dedicated model or a specialized encoder for the task. Our key idea is to train a Latent Guidance Predictor (LGP) - a small, per-pixel, Multi-Layer Perceptron (MLP) that maps latent features of noisy images to spatial maps, where the deep features are extracted from the core Denoising Diffusion Probabilistic Model (DDPM) network. The LGP is trained only on a few thousand images and constitutes a differential guiding map predictor, over which the loss is computed and propagated back to push the intermediate images to agree with the spatial map. The per-pixel training offers flexibility and locality which allows the technique to perform well on out-of-domain sketches, including free-hand style drawings. We take a particular focus on the sketch-to-image translation task, revealing a robust and expressive way to generate images that follow the guidance of a sketch of arbitrary style or domain. Project page: sketch-guided-diffusion.github.io

연구 동기 및 목표

• 사전에 학습된 텍스트-이미지 확산 모델의 추론 과정에서 스케치와 같은 다른 도메인의 공간 맵을 사용하여 정밀한 공간 제어를 가능하게 하기 위해.
• 기존 방법의 한계를 극복하기 위해, 작업에 특화된 재학습이 필요하거나 도메인 외부 스케치에서 실패하는 문제를 해결하기 위해.
• 다양한 스케치 스타일(수작 그림 포함)에 대해 작동하는 통합적이고 효율적이며 도메인에 종속되지 않는 지도 메커니즘을 개발하기 위해.
• 스케치-이미지 외의 응용 분야로의 유연성도 입증하기 위해, 예를 들어 시각적 중심점 기반 인painting 및 수평선 제어에 적용하기 위해.
• 대규모 재학습이 필요 없는 경량이며, 미분 가능하고 픽셀별로 학습되는 메커니즘을 제공하기 위해.

제안 방법

• 잠재 지도 예측기(LGP)라 불리는 소형 픽셀별 다층 퍼셉트론(MLP)을 도입하여, 확산 모델의 백본에서 유도된 노이즈가 섞인 잠재 특징을 공간 지도 맵으로 매핑하도록 학습한다.
• 수천 장의 이미지로 구성된 작은 데이터셋을 사용하여 자기지도 방식으로 LGP를 학습하며, 각 잠재 픽셀에서 예측된 지도 맵과 목표 지도 맵(예: 스케치) 간의 손실을 계산한다.
• 학습 과정에서 확산 프로세스와 동일한 노이즈 스케줄링을 사용하여, 추론 시 다양한 노이즈 수준에서 일반화할 수 있도록 한다.
• 각 잠재 픽셀 별로 독립적으로 작동하므로, 전역 이미지 수준의 인코딩 없이 국소적이고 영향을 받지 않는 지도 기반의 제어가 가능하다.
• 추론 과정에서 LGP는 미분 가능한 지도 맵을 생성하여 사전에 학습된 확산 모델의 노이즈 제거 과정을 이동시킨다.
• 손실 함수(예: 이진 교차 엔트로피)와 감독 신호를 수정하여, 시각적 중심점 기반 인painting과 같은 다른 공간 지도 작업으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 경량이며 픽셀별 MLP인 LGP가 주요 모델을 재학습하지 않고도 스케치와 같은 공간 맵을 사용하여 사전에 학습된 텍스트-이미지 확산 모델을 효과적으로 지도할 수 있는가?
• RQ2 자신의 도메인 내 스케치 또는 스타일링된 스케치와 비교하여, 자유도 높은 수작 스케치와 같은 도메인 외부 스케치에 대해 얼마나 잘 일반화되는가?
• RQ3 스케치에서 유도된 공간적 레이아웃을 강제로 적용하면서도 텍스트 프롬프트와의 의미적 일치를 얼마나 잘 유지하는가?
• RQ4 이와 같은 프레임워크는 스케치-이미지 외의 다른 공간 지도 작업, 예를 들어 시각적 중심점 기반 이미지 생성이나 수평선 제어에 적용 가능한가?
• RQ5 전역 이미지 수준의 인코딩과 비교할 때 픽셀별 학습 메커니즘은 영향력, 데이터 효율성, 스타일 변동에 대한 강건성 측면에서 어떻게 다른가?

주요 결과

• 이 방법은 텍스트 프롬프트의 의미적 내용과 다양한 스케치 입력(수작 스케치 포함)의 공간적 레이아웃을 모두 존중하는 고해상도 이미지 생성을 달성한다.
• 픽셀별로 국소적으로 학습하기 때문에 LGP는 특정 스트로크 스타일에 과적합되지 않으며, 도메인 외부 스케치에 대해 잘 일반화된다.
• LGP 학습에 필요한 데이터는 수천 장으로 제한되어 있어, 전용 이미지-이미지 모델을 학습하는 것에 비해 데이터 및 계산 비용을 크게 절감한다.
• 이 방법은 시각적 중심점 기반 인painting을 성공적으로 구현하였으며, 마스킹된 영역에서 낮은 시각적 중심점 값은 배경 채우기를 유도하고, 높은 값은 전경 객체 생성을 유도한다.
• 모델은 다양한 노이즈 수준에서 안정적으로 작동하며, 텍스트 프롬프트와 스케치가 의미적으로 모호하거나 상충되는 경우에도 효과적으로 적용 가능하다.
• 복잡하거나 혼잡하거나 모호한 스케치에서는 실패 케이스가 발생하며, 특히 무작위 노이즈 초기화가 스케치의 구조와 충돌할 경우에 한계가 드러나, 높은 의미적 모호성 처리에 어려움이 있음을 시사한다.