[論文レビュー] CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image Encoders

Kevin Frans, L. B. Soros+1 more|arXiv (Cornell University)|Jun 28, 2021

Handwritten Text Recognition Techniques参考文献 16被引用数 93

ひとこと要約

CLIPDrawは、新しいモデルを訓練することなく、事前訓練済みの CLIP モデルに対する勾配降下最適化を用いて、テキストからベクター筆跡のドローイングを合成します。

ABSTRACT

This work presents CLIPDraw, an algorithm that synthesizes novel drawings based on natural language input. CLIPDraw does not require any training; rather a pre-trained CLIP language-image encoder is used as a metric for maximizing similarity between the given description and a generated drawing. Crucially, CLIPDraw operates over vector strokes rather than pixel images, a constraint that biases drawings towards simpler human-recognizable shapes. Results compare between CLIPDraw and other synthesis-through-optimization methods, as well as highlight various interesting behaviors of CLIPDraw, such as satisfying ambiguous text in multiple ways, reliably producing drawings in diverse artistic styles, and scaling from simple to complex visual representations as stroke count is increased. Code for experimenting with the method is available at: https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb

研究の動機と目的

• 自然言語プロンプトからのドローイングを生成する訓練不要の方法を実証する。
• ベクター筆跡表現に制限した場合のCLIPベースの最適化の挙動を検討する。
• 描画スタイル、ストローク数、プロンプトが出力形状と認識性に与える影響を調査する。
• 言語と画像の関係やAI支援アートを探るためのテストベッドを提供する。

提案手法

• 描画を、微分可能なレンダリングを備えた固定セットのRGBA Bézier曲線として表現する。
• プロンプトと描画済みのドローイングの両方をエンコードするために、事前訓練済みのCLIPモデルを使用する。
• プロンプトと画像のエンコード間のコサイン類似度の負を最小化するように、曲線の制御点、太さ、および色を勾配降下法で最適化する。
• 歪みに対する認識性を強制するため、レンダリング画像にランダムな透視変換や切り抜きを加える。
• 収束するまで、固定回数のステップで最適化を繰り返す。

実験結果

リサーチクエスチョン

• RQ1 認識可能なドローイングを生成するという点で、CLIPDrawは他の最適化による合成手法とどのように比較されるか？
• RQ2 プロンプトのスタイル記述子は描画の視覚的スタイルにどのような影響を与えるか？
• RQ3 生成されたドローイングにおけるリアリズムとディテールに対するストローク数の影響は何か？
• RQ4 CLIPDrawはプロンプトを通じて文化的または抽象的連想を明らかにできるか？
• RQ5 CLIPDrawの出力を導く際、ネガティブプロンプトはどの程度効果的か？

主な発見

• CLIPDrawは、単純なベクトル筆跡を用いて多様で人間に認識可能なドローイングを生成する。
• スタイル記述子（“watercolor”、“3D rendering”）は、同じプロンプトに対して顕著に異なる芸術的出力を生み出す。
• ストローク数を増やすと、より詳細でリアルな描画になる傾向がある。
• CLIPDrawはあいまいなプロンプトを複数の方法で解釈でき、時にはプロンプトに関連するテキストや記号を画像に埋め込むことがある。
• ネガティブプロンプトは出力を部分的に誘導できるが、その効果はプロンプトごとに一貫して信頼できるとは限らない。