[논문 리뷰] CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image Encoders

Kevin Frans, L. B. Soros외 1명|arXiv (Cornell University)|2021. 06. 28.

Handwritten Text Recognition Techniques참고 문헌 16인용 수 93

한 줄 요약

CLIPDraw는 훈련된 새로운 모델을 학습하지 않고, 사전 학습된 CLIP 모델에 대한 그래디언트 디센트 최적화를 통해 텍스트로부터 벡터 스트로크 그림을 합성한다.

ABSTRACT

This work presents CLIPDraw, an algorithm that synthesizes novel drawings based on natural language input. CLIPDraw does not require any training; rather a pre-trained CLIP language-image encoder is used as a metric for maximizing similarity between the given description and a generated drawing. Crucially, CLIPDraw operates over vector strokes rather than pixel images, a constraint that biases drawings towards simpler human-recognizable shapes. Results compare between CLIPDraw and other synthesis-through-optimization methods, as well as highlight various interesting behaviors of CLIPDraw, such as satisfying ambiguous text in multiple ways, reliably producing drawings in diverse artistic styles, and scaling from simple to complex visual representations as stroke count is increased. Code for experimenting with the method is available at: https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb

연구 동기 및 목표

• 자연어 프롬프트로 그림을 생성하기 위한 훈련 없는 방법을 Demonstrate한다.
• CLIP 기반 최적화가 벡터 스트로크 표현으로 한정될 때 어떻게 작용하는지 Examine한다.
• 그림 스타일, 스트로크 수, 프롬프트가 출력 형태와 인지 가능성에 어떤 영향을 주는지 Investigate한다.
• 언어–이미지 관계와 AI 지원 예술을 탐구하기 위한 시험대 Testbed를 제공한다.

제안 방법

• 그림을 미분 가능 렌더링을 갖춘 고정된 RGBA Bézier 곡선 집합으로 표현한다.
• 프롬프트와 렌더링된 그림 둘 다를 인코딩하기 위해 사전 학습된 CLIP 모델을 사용한다.
• 프롬프트 인코딩과 이미지 인코딩 간의 음의 코사인 유사도를 최소화하기 위해 곡선 제어점, 두께, 색상을 그래디언트 디센트로 최적화한다.
• 왜곡 하에서도 인지 가능성을 보장하기 위해 렌더링된 이미지를 임의의 원근 이동과 자르기로 보강한다.
• 수렴에 도달할 때까지 고정된 횟수의 스텝으로 최적화를 반복한다.

실험 결과

연구 질문

• RQ1 CLIPDraw가 시각적으로 인식 가능한 그림을 생성하는 데 있어 다른 합성-를-최적화 방법과 비교했을 때 어떤 차이가 있는가?
• RQ2 프롬프트의 스타일 기술이 그림의 시각적 스타일에 어떤 영향을 미치는가?
• RQ3 생성된 그림의 사실감과 디테일에 스트로크 수가 미치는 효과는 어떤가?
• RQ4 CLIPDraw가 프롬프트를 통해 문화적이거나 추상적인 연상을 드러낼 수 있는가?
• RQ5 음성 프롬프트가 CLIPDraw의 출력을 어느 정도까지 이끈 효과가 있는가?

주요 결과

• CLIPDraw는 단순 벡터 스트로크를 사용하여도 인간이 인식 가능한 다양한 그림을 생산한다.
• 스타일 기술자("watercolor", "3D rendering")는 같은 프롬프트에 대해 현저히 다른 예술적 출력을 낳는다.
• 스트로크 수가 증가하면 일반적으로 더 자세하고 사실적인 렌더링이 얻어진다.
• CLIPDraw는 애매한 프롬프트를 여러 방식으로 해석할 수 있으며 때로는 프롬프트와 관련된 텍스트나 기호를 이미지에 포함시키기도 한다.
• 음성 프롬프트는 출력의 방향을 부분적으로 이끌 수 있지만, 프롬프트 간에 일관되게 신뢰할 만큼의 효과는 아니다.