[論文レビュー] StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Translation

Peter Schaldenbrand, Zhixuan Liu+1 more|arXiv (Cornell University)|Feb 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

StyleCLIPDrawは、テキストプロンプトとリファレンススタイル画像から、CLIPおよびVGG16特徴量を用いてコンテンツとスタイルを同時に最適化するカップリング最適化フレームワークを提案する。人間評価では、逐次的スタイル変換よりも84.9%の好まれ方を示し、芸術的認識においてスタイルとコンテンツが本質的に結びついていること、および共同最適化がより好まれる芸術的に整合性のある結果をもたらすことを示している。

ABSTRACT

Generating images that fit a given text description using machine learning has improved greatly with the release of technologies such as the CLIP image-text encoder model; however, current methods lack artistic control of the style of image to be generated. We present an approach for generating styled drawings for a given text description where a user can specify a desired drawing style using a sample image. Inspired by a theory in art that style and content are generally inseparable during the creative process, we propose a coupled approach, known here as StyleCLIPDraw, whereby the drawing is generated by optimizing for style and content simultaneously throughout the process as opposed to applying style transfer after creating content in a sequence. Based on human evaluation, the styles of images generated by StyleCLIPDraw are strongly preferred to those by the sequential approach. Although the quality of content generation degrades for certain styles, overall considering both content extit{and} style, StyleCLIPDraw is found far more preferred, indicating the importance of style, look, and feel of machine generated images to people as well as indicating that style is coupled in the drawing process itself. Our code (https://github.com/pschaldenbrand/StyleCLIPDraw), a demonstration (https://replicate.com/pschaldenbrand/style-clip-draw), and style evaluation data (https://www.kaggle.com/pittsburghskeet/drawings-with-style-evaluation-styleclipdraw) are publicly available.

研究の動機と目的

• テキストから画像への生成における芸術的コントロールの欠如、特に単純なテキスト記述を超えたスタイルカスタマイズの欠如に対処すること。
• 芸術理論が示唆するように、ドローイングプロセスにおいてスタイルとコンテンツが本質的に結合されているかどうかを調査すること。
• ユーザーがコンテンツ（テキストによる指定）とスタイル（例画像による指定）を明示的に指定できる手法を開発することにより、クリエイティブな所有感を高めること。
• スタイルとコンテンツの質に関する詳細な人間評価を伴う、352枚のAI生成ドローイングからなる公開データセットをリリースすること。
• コード、Colabノートブック、オンラインデモを含むアクセシブルなツールを提供し、スタイル制御可能な画像生成へのアクセスを民主化すること。

提案手法

• StyleCLIPDrawは、CLIPのテキスト-画像埋め込み類似度を用いたコンテンツ損失と、リファレンススタイル画像から抽出されたVGG16特徴量を用いたスタイル損失の2つの損失を最小化することで、微分可能なドローイング表現を共同で最適化する。
• この手法は、バックプロパゲーションを用いて反復的に最適化されるラスタライズド微分可能ドローイング表現を用い、テキストおよびスタイル画像の埋め込みに一致させる。
• コンテンツ損失は、CLIPのテキスト-画像対照損失を用いて計算され、生成されたドローイングがプロンプトの意味的コンテンツと一致することを保証する。
• スタイル損失は、事前学習済みのVGG16ネットワークからの特徴マップのグラム行列を用いて計算され、スタイル画像のテクスチャ、色、空間的レイアウトを捉える。
• 最適化プロセスはエンドツーエンドであり、スタイルとコンテンツが生成の過程で共に適応されるように設計されており、後処理としてのスタイル変換とは異なっている。
• 本手法は、139名の参加者を対象とした人間評価を通じて、CLIPDrawに続く別個のスタイル変換をベースラインとする比較によって評価された。

実験結果

リサーチクエスチョン

• RQ1 テキストからドローイングへの生成において、コンテンツとスタイルの共同最適化は、コンテンツ生成とスタイル変換を逐次的に行う手法よりも、より好まれる芸術的に整合性のある結果を生み出すか？
• RQ2 強力なまたは抽象的なスタイルを適用した場合、生成されたコンテンツの認識品質はどの程度低下するか。また、これは全体的なユーザーの好みにどのように影響するか？
• RQ3 ユーザーは、AI生成ドローイングにおけるスタイルとコンテンツの相互依存性をどのように認識しているか。これは、芸術理論がスタイルとコンテンツを不可分なものとみなすのと一致するか？
• RQ4 リファレンス画像は、テキストからドローイングへの生成において、非専門家ユーザーにとって効果的で直感的なスタイル制御メカニズムとして機能するか？
• RQ5 スタイルの曖昧性（例：抽象的 vs. 実在的）は、生成されたコンテンツの認識可能性と好みにどのような影響を与えるか？

主な発見

• スタイルとコンテンツの両方を考慮した人間評価において、StyleCLIPDrawは84.9%の好まれ方を示し、カップリングされたアプローチの強いユーザーの好みを示している。
• 一部のケースではコンテンツの明瞭性が低かったものの、スタイルとコンテンツの共同最適化により全体的な好みが著しく向上しており、ユーザー認識においてスタイルの重要性が浮き彫りになった。
• スタイル画像のリアリズムの曖昧さと、認識されるコンテンツ品質の低下の間に強い正の相関（r = 0.72、p = 0.04）が確認され、抽象的スタイルがコンテンツ認識を困難にすることが示唆された。
• 人間評価において、本手法はすべてのスタイル次元でベースラインを上回り、スタイルが芸術的認識の根幹を成すものであり、後から追加されるものではないことを確認した。
• 本研究では、スタイルとコンテンツの質に関する詳細な人間アノテーションを伴う、352枚のAI生成ドローイングからなる新規公開データセットをリリースし、今後の自動スタイル評価研究を可能にした。
• 本手法は、コード、Google Colabノートブック、オンラインデモを含め、非技術的ユーザーおよび今後の研究への広範なアクセスを可能にする形で公開された。