[論文レビュー] CLIP-CLOP: CLIP-Guided Collage and Photomontage

Piotr Mirowski, Dylan Banarse+3 more|arXiv (Cornell University)|May 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

CLIP-CLOPは、CLIPの双画像・テキストエンコーダーを用いた最適化により、手動で選択された画像パッチから高解像度の写真合成を構成する勾配ベースのコラージュ生成ツールを提供する。このシステムは、パッチの位置決め、スケーリング、回転に関して人間の介入を可能にし、CLIPの二重エンコーダーによる美的一貫性を維持する。これにより、プロンプトのみの拡散モデルに比べて、より芸術的で表現力豊かなコラージュが実現される。

ABSTRACT

The unabated mystique of large-scale neural networks, such as the CLIP dual image-and-text encoder, popularized automatically generated art. Increasingly more sophisticated generators enhanced the artworks' realism and visual appearance, and creative prompt engineering enabled stylistic expression. Guided by an artist-in-the-loop ideal, we design a gradient-based generator to produce collages. It requires the human artist to curate libraries of image patches and to describe (with prompts) the whole image composition, with the option to manually adjust the patches' positions during generation, thereby allowing humans to reclaim some control of the process and achieve greater creative freedom. We explore the aesthetic potentials of high-resolution collages, and provide an open-source Google Colab as an artistic tool.

研究の動機と目的

• AI支援アートにおける人間の主権を回復させる、創造的でインタラクティブな手続き的コラージュ生成システムの開発。
• アーティストが生成中に個々の画像パッチをキュレート・操作でき、プロンプト設計を超えたクリエイティブコントロールを可能にする。
• 選択されたパッチに対するアフィン変換および色調変換の微分可能最適化としてコラージュを形式化し、CLIPの意味理解をガイドとして用いる。
• 潜在拡散やストロークベース生成に依存せず、パッチベースの構成による高解像度で美的に説得力のある写真合成を探索する。
• CLIP誘導型でパッチベースの画像合成を可能にするツールのオープンソース化を通じ、芸術的実験を支援する。

提案手法

• コラージュジェネレータは、N個の手動で選択された画像パッチに対して、微分可能なアフィン変換（平行移動、回転、スケーリング）および色調変換（明るさ、コントラスト、彩度）を適用する。
• パッチは透過または不透明なブレンド方式でキャンバスに重ね合わせられ、最終的な画像はRGBテンソルとしてレンダリングされる。
• CLIPの二重エンコーダーが、生成されたコラージュとユーザーが入力したテキストプロンプトの一致度を評価し、最適化のための損失信号を提供する。
• 最適化は、パッチのパラメータ（位置、色調、変換）に対して勾配降下法を用い、高解像度出力のための重複領域評価を用いた階層的精錬を実施する。
• ユーザーはUIを通じて生成を一時停止し、パッチの位置、回転、スケールを手動で調整した後、最適化を再開できる。これにより、人間が最適化に参加するフィードバックループが実現される。
• 本システムは、複数のレンダリング戦略やクライム評価方式をサポートしており、特に高解像度画像の構成において重複領域スコアリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 CLIP誘導型でパッチベースのコラージュジェネレータは、プロンプトのみの拡散モデルに比べ、より高い芸術的コントロールを実現しながら高解像度で視覚的に整合性のある芸術的作風を生成できるか？
• RQ2 最適化中の人間によるインタラクティブな介入は、生成されたコラージュの美的質および創造的表現力にどのように影響するか？
• RQ3 潜在拡散やストロークベース生成に依存せずに、CLIPの意味理解が複雑な複数パッチのコラージュ構成をどの程度効果的にガイドできるか？
• RQ4 動物、割れたお皿、果物など、異なるパッチタイプが、最終的なコラージュの視覚的スタイルやリアリズムにどのように影響を与えるか？
• RQ5 階層的で重複するCLIPクライム評価は、大規模な写真合成における一貫性と解像度の向上に寄与するか？

主な発見

• CLIP-CLOPは、潜在空間の最適化を一切行わず、手動で選択された画像パッチのみを用いて高解像度で写真的リアリズムのあるコラージュを生成し、完全な解釈可能性とコントロール性を実現する。
• 最適化中におけるパッチ位置の手動編集は、インタラクティブな例で示されるように、クリエイティブな所有感と構成の正確性を顕著に向上させる。
• 少ないパッチ数（例：10〜20）では抽象的でピカソ風のコラージュが得られ、パッチ数を増やす（例：100以上）と、水牛やダンサープリンスのような、よりリアルで詳細な画像が得られる。
• 動物や割れたお皿のパッチを用いることで、スタイングラス効果のような特徴的な視覚的テクスチャが得られ、「ステイングラス風アラン・チューリング」のような作品では、ストロークベース（CLIPDraw）や拡散ベース手法に比べてテクスチャの忠実度が優れている。
• 本システムは階層的で重複するCLIPクライム評価を可能にし、重複領域をスコアリングして結果を統合することで、高解像度画像生成を実現する。
• オープンソースのGoogle Colab実装により、アーティストは多様で著作権フリーの画像パッチを用いて、CLIP誘導型コラージュの実験が可能となり、完全な再現性と拡張性が保証される。