[논문 리뷰] SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation

Zhiyu Qu, Tao Xiang외 1명|arXiv (Cornell University)|2023. 08. 27.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

SketchDreamer는 자연어 프롬프트를 기반으로 스케치를 반복적으로 개선하는 상호작용적이고 텍스트 보강형 스케치 생성 프레임워크를 소개한다. 이 프레임워크는 미분 가능 Bézier 래스터라이저를 갖춘 텍스트 조건부 확산 모델을 사용하여 스케치를 반복적으로 정교화한다. 이는 비전문가가 스케치와 텍스트 수정을 제어적으로 반복함으로써 스토리보드를 공동으로 제작할 수 있도록 하며, 기존 베이스라인 대비 초기 스케치와의 사용자 인식 일관성에서 뛰어난 성능을 보였다.

ABSTRACT

Artificial Intelligence Generated Content (AIGC) has shown remarkable progress in generating realistic images. However, in this paper, we take a step "backward" and address AIGC for the most rudimentary visual modality of human sketches. Our objective is on the creative nature of sketches, and that creative sketching should take the form of an interactive process. We further enable text to drive the sketch ideation process, allowing creativity to be freely defined, while simultaneously tackling the challenge of "I can't sketch". We present a method to generate controlled sketches using a text-conditioned diffusion model trained on pixel representations of images. Our proposed approach, referred to as SketchDreamer, integrates a differentiable rasteriser of Bezier curves that optimises an initial input to distil abstract semantic knowledge from a pretrained diffusion model. We utilise Score Distillation Sampling to learn a sketch that aligns with a given caption, which importantly enable both text and sketch to interact with the ideation process. Our objective is to empower non-professional users to create sketches and, through a series of optimisation processes, transform a narrative into a storyboard by expanding the text prompt while making minor adjustments to the sketch input. Through this work, we hope to aspire the way we create visual content, democratise the creative process, and inspire further research in enhancing human creativity in AIGC. The code is available at \url{https://github.com/WinKawaks/SketchDreamer}.

연구 동기 및 목표

• 기존 AIGC 시스템에서의 상호작용 부족과 절차적 창의성 부족 문제를 해결하기 위해.
• 비전문가가 자연어 프롬프트를 통해 표현력 있는 스케치를 생성할 수 있도록 스케치 제작을 민주화하여 '나는 스케치를 못해'라는 장벽을 극복하기 위해.
• 스케치 생성을 텍스트와 스케치 입력이 함께 창의적 아이디어 도출을 이끄는 상호작용적이고 반복적인 과정으로 모델링하기 위해.
• 초기 스케치의 무결성을 유지하면서도 프롬프트 진화를 통해 의미적 확장을 허용하는 방법을 개발하기 위해.
• 텍스트와 스케치 모odalities가 창의적이고 절차적인 생성 파이프라인에서 어떻게 상호 진화할 수 있는지 탐구하기 위해.

제안 방법

• 이미지의 픽셀 표현을 기반으로 훈련된 텍스트 조건부 확산 모델이 텍스트와 초깃값 스케치 입력을 기반으로 스케치 유사 출력을 생성한다.
• Bézier 곡선의 미분 가능 래스터라이저를 통해 스트로크 파라미터를 최적화하여 텍스트 프롬프트와 일치하도록 한다.
• 스코어 디스틸레이션 샘플링(SDS)을 사용하여 생성된 스케치의 CLIP 임베딩과 텍스트 캡션의 CLIP 임베딩 간 거리를 최소화함으로써 스케치를 최적화한다.
• 이 방법은 반복적 개선을 지원한다: 사용자는 텍스트 프롬프트를 확장하고, 스케치를 소량 수정(예: 크기 조정, 위치 이동, 스트로크 추가)하며, 각 단계에서 모델이 업데이트된 스케치를 생성한다.
• 초기 스케치는 비전문가의 그림 품질을 반영하기 위해 QuickDraw에서 확보되었으며, 모델은 개선 과정에서 의미적 및 구조적 무결성을 유지하도록 훈련되었다.
• 사용자 연구를 통해 인지적 일관성을 평가하였으며, 참가자들은 세 가지 생성 옵션 중에서 초깃값과 가장 유사한 스케치를 선택하였다.

(a) Generation by single round.

실험 결과

연구 질문

• RQ1 텍스트 조건부 확산 모델은 진화하는 텍스트 프롬프트에 따라 초깃값 스케치의 무결성을 유지하면서 스케치를 생성할 수 있는가?
• RQ2 텍스트와 스케치 입력의 상호작용적이고 반복적인 개선이 생성된 스케치의 인식 일관성과 창의성에 어떤 영향을 미치는가?
• RQ3 미분 가능 Bézier 래스터라이저는 텍스트와 초깃값 스케치 입력에서 제어 가능하고 고해상도의 스케치 생성을 얼마나 효과적으로 가능하게 하는가?
• RQ4 제안된 방법은 텍스트 유도 생성에서 초깃값 스케치의 구조를 얼마나 잘 유지하는가?
• RQ5 비전문가 사용자가 자연어와 최소한의 스케치 수정을 통해 시스템을 효과적으로 활용하여 스토리보드를 공동으로 제작할 수 있는가?

주요 결과

• SketchDreamer는 사용자 연구에서 68.34%의 선호도를 기록하여, 초기 입력과 가장 유사한 스케치를 선택하는 데 있어 VectorFusion (init)의 22.91%와 VectorFusion의 8.75%를 크게 앞섰다.
• 이 방법은 R-Prec 점수 72.94%와 CLIP 유사도 점수 31.50을 기록하여, 텍스트 프롬프트와 강한 일치를 보이며 초깃값 스케치의 구조를 유지함을 시사한다.
• 초기 스케치 품질이 낮았음에도 불구하고(R-Prec 28.91% for QuickDraw), SketchDreamer는 일관성을 크게 향상시켜 열악한 입력에 대한 강건성을 입증했다.
• 비제어적 및 기존 제어적 방법보다 인지적 일관성에서 뛰어난 성능을 보이며, 최적화 과정에서 텍스트와 스케치의 효과적 통합이 이루어졌음을 시사한다.
• 사용자 연구 결과는 텍스트와 스케치 수정을 모두 반복적으로 수행함으로써 더 일관성 있고 조화로운 스토리보드 생성이 가능하며, 텍스트 전용 또는 비상호작용적 방법보다 우수하다는 것을 확인했다.
• 이 방법은 자연어와 최소한의 수동 입력을 통해 사용자가 표현력 있는 스케치를 생성할 수 있도록 하여 '나는 스케치를 못해' 문제를 효과적으로 해결한다.

(b) Interactive generation by multiple rounds.