[논문 리뷰] DiffSketching: Sketch Control Image Synthesis with Diffusion Models

Qiang Wang, Di Kong외 2명|arXiv (Cornell University)|2023. 05. 30.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

DiffSketching는 대규모 쌍체 스케치-이미지 데이터셋을 필요로 하지 않고도 자유로운 손그림으로부터 고해상도, 다양한, 현실적인 이미지를 생성하는 확산 모델 기반 방법을 제안한다. 교차 도메인 제약, 분류기 가이던싱, 인지 손실을 활용하여, 정량적 지표와 인간 평가에서 GAN 기반 방법을 능가한다. 또한 이미지 편집 및 조건부 보간과 같은 애플리케이션을 가능하게 한다.

ABSTRACT

Creative sketch is a universal way of visual expression, but translating images from an abstract sketch is very challenging. Traditionally, creating a deep learning model for sketch-to-image synthesis needs to overcome the distorted input sketch without visual details, and requires to collect large-scale sketch-image datasets. We first study this task by using diffusion models. Our model matches sketches through the cross domain constraints, and uses a classifier to guide the image synthesis more accurately. Extensive experiments confirmed that our method can not only be faithful to user's input sketches, but also maintain the diversity and imagination of synthetic image results. Our model can beat GAN-based method in terms of generation quality and human evaluation, and does not rely on massive sketch-image datasets. Additionally, we present applications of our method in image editing and interpolation.

연구 동기 및 목표

• 추상적이고 정보가 적은 손그림으로부터 사진처럼 현실적인, 다양한 이미지를 생성하는 데 도전하는 것.
• 대규모 쌍체 스케치-이미지 데이터셋에 의존하지 않고도 확산 모델 기반 생성에서 스케치와 이미지 간의 도메인 갭을 극복하는 것.
• 분류기 가이던싱과 인지 손실을 도입하여 교차 도메인 매칭을 통해 생성의 정밀도와 다양성을 향상시키는 것.
• 스케치 제어를 통해 이미지 편집 및 조건부 보간과 같은 실용적 응용을 가능하게 하는 것.
• 확산 모델이 모드 붕괴와 학습 불안정성 문제 없이 GAN보다 스케치-이미지 생성에서 뛰어난 성능을 보일 수 있음을 입증하는 것.

제안 방법

• 방법은 잠재 노이즈에서 이미지를 생성하는 디노이징 확산 확률 모델(DDPM)을 사용하며, 교차 도메인 제약을 통해 입력 스케치로 유도한다.
• 분류기가 확산 과정을 가이던싱하여 이미지 생성의 세밀한 제어를 가능하게 하고 스케치 입력의 모호성을 줄인다.
• 인지 손실이 스케치 도메인에 적용되어, 스케치가 왜곡되거나 추상적이더라도 생성된 이미지가 입력 스케치의 형태와 구조와 일치하도록 보장한다.
• 이미지 정체성 손실이 텍스처와 세부 정보를 유지하기 위해 사용되어 스케치의 내용을 고해상도로 재구성한다.
• 주의 블록을 통한 원본 이미지의 특징와 스케치 유도 잠재 공간 조작을 조합하여 조건부 이미지 편집을 달성한다.
• 구면 선형 보간(slerp)을 사용해 두 개의 초기 잠재 변수 사이에서 잠재 공간 보간을 수행하여 서로 다른 스케치 조건 간의 부드러운 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 쌍체 데이터셋 없이도 확산 모델이 추상적이고 정보가 적은 손그림으로부터 다양한, 현실적인 이미지를 효과적으로 생성할 수 있는가?
• RQ2 확산 기반 생성 프레임워크에서 스케치와 이미지 간의 교차 도메인 정렬은 어떻게 달성할 수 있는가?
• RQ3 스케치의 모호성 존재 하에서 분류기 가이던싱이 스케치-이미지 생성의 정밀도와 제어 가능성에 기여하는가?
• RQ4 제안된 방법이 이미지 편집 및 조건부 보간과 같은 후행 응용을 어느 정도 지원할 수 있는가?
• RQ5 이미지 품질, 다양성 및 인간 평가 측면에서 GAN 기반 베이스라인 대비 모델의 성능은 어떠한가?

주요 결과

• DiffSketching는 벤치마크 데이터셋에서 더 높은 인ception 스코어(IS)와 피드백 스코어(FID)를 기록하여 GAN 기반 방법에 비해 뛰어난 이미지 품질과 다양성을 확보한다.
• 사람에 의한 평가에서 모델은 GAN 기반 베이스라인을 능가하며, 현실성과 충실도에 대한 인간의 직관적 판단과의 일치도가 더 높은 점수를 기록한다.
• 실제 사용자들이 그린 스케치(QuickDraw 데이터셋)에서도 전역적 인지 손실 덕분에 왜곡되거나 단순화된 스케치일지라도 강력한 성능 유지를 보인다.
• 절단 실험 결과, 이미지 정체성 손실과 스케치 인지 손실 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 생성 품질과 스케치 충실도가 크게 떨어진다.
• 원본 이미지의 텍스처를 유지하면서도 스케치 입력에 기반해 형태와 자세를 수정함으로써 효과적인 이미지 편집을 가능하게 한다.
• 잠재 공간에서의 slerp 기반 조건부 보간은 서로 다른 스케치 조건 간에 매끄럽고 일관된 전이를 생성하여 모델의 일관성과 제어 가능성의 우수성을 입증한다.