[論文レビュー] Modern Evolution Strategies for Creativity: Fitting Concrete Images and Abstract Concepts

Yingtao Tian, David Ha|arXiv (Cornell University)|Sep 18, 2021

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本論文では、CLIP埋め込みを用いて、ターゲット画像またはテキストプロンプトに一致させるために、透過三角形の配置と色を最適化することで、現代的な進化戦略（ES）を用いて幾何的抽象芸術を生成することを提案する。実験では、ESが勾配ベースの手法と同等の品質と効率を達成していることが示され、特に抽象表現主義的なスタイルにおいて、微分可能レンダリングとは異なる、多様で人間の好みに合った抽象芸術を生成している。

ABSTRACT

Evolutionary algorithms have been used in the digital art scene since the 1970s. A popular application of genetic algorithms is to optimize the procedural placement of vector graphic primitives to resemble a given painting. In recent years, deep learning-based approaches have also been proposed to generate procedural drawings, which can be optimized using gradient descent. In this work, we revisit the use of evolutionary algorithms for computational creativity. We find that modern evolution strategies (ES) algorithms, when tasked with the placement of shapes, offer large improvements in both quality and efficiency compared to traditional genetic algorithms, and even comparable to gradient-based methods. We demonstrate that ES is also well suited at optimizing the placement of shapes to fit the CLIP model, and can produce diverse, distinct geometric abstractions that are aligned with human interpretation of language. Videos and demo: https://es-clip.github.io/

研究の動機と目的

• 勾配ベースの最適化の代替手段として、現代的な進化戦略（ES）を用いた計算的創造性のための進化的アルゴリズムの再考。
• 幾何的プリミティブを用いた画像合成において、従来の遺伝的アルゴリズムを品質と効率の面で凌駕すること。
• テキストプロンプトに対する人間の解釈に合わせて、CLIP埋め込みを用いて形状の配置を最適化することで、言語との整合性を実現すること。
• ESが、具体的な画像ではなく、抽象的概念を反映する多様で特徴的な幾何的抽象芸術を生成できるかどうかの探求。
• ESが、プロシージャルアート生成において勾配ベースの手法のドメインに依存しない柔軟な代替手段として機能できることの実証。

提案手法

• 本手法は、キャンバス上に50個の透過三角形の位置、色、透明度を最適化することで、レンダリングされた画像とターゲット画像またはテキストプロンプトとの間のコサイン類似度を最小化する進化戦略（ES）を用いる。
• フィットネスは、CLIPの画像およびテキストエンコーダーを用いて計算され、レンダリングされたキャンバスとCLIP埋め込み済みターゲットとの類似度が目的関数として用いられる。
• 最適化には、ClipUpを併用したESのPGPE（パラメータ指数関数型勾配法）バージョンが採用され、非微分可能レンダリングの最適化を効率的に行える。
• レンダリング処理は、微分可能三角形合成を可能にするnvdiffrastを用いて実装されており、勾配ベースの比較が可能である一方、主な最適化はESに基づく。
• 生成された抽象芸術の多様性と耐性を評価するために、各プロンプトに対して複数回の独立した実行が行われる。
• 本手法は、画像フィッティング（例：モナ・リーザ）とテキストから画像への生成（例：「カンディンスキーのスタイルの山の絵」）の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 現代的な進化戦略（ES）は、幾何的プリミティブを用いたプロシージャル画像合成において、従来の遺伝的アルゴリズムを品質と効率の面で上回ることができるか？
• RQ2 ESに基づく最適化は、人間の言語解釈に合わせた抽象芸術を生成する際、勾配ベースの手法と比較してどのように異なるか？
• RQ3 同じテキストプロンプトから、ESがどれほど多様で特徴的な幾何的抽象芸術を生成できるか、意味的コンセプトをどれほど反映できるか？
• RQ4 ES最適化から生じる芸術的スタイルは何か、そして微分可能レンダリングで得られるものとどのように異なるか？
• RQ5 ESは、プロシージャルアート生成において、勾配ベースの手法の代替手段としてドメインに依存しない柔軟な選択肢として機能できるか？

主な発見

• 非微分可能な手法であるにもかかわらず、現代的な進化戦略（ES）は、最先端の微分可能レンダリング手法と同等の画像合成品質と最適化効率を達成している。
• ESに基づく手法は、『山』や『夜の街』といったテキストプロンプトに対して、人間の解釈と明確に一致する幾何的抽象芸術を生成しており、意味的忠実度が非常に高い。
• 同じテキストプロンプトに対して複数回の独立した実行が行われ、多様で特徴的な結果が得られ、強力な探索能力と創造的多様性が裏付けられている。
• ESで生成された芸術作品は、はっきりとした境界と幾何学的形状を特徴とし、より大胆で抽象表現主義的なスタイルを示しており、勾配ベースの最適化で得られるややぼんやりとした結果とは対照的である。
• 勾配ベースのアプローチとは見られない独自の芸術的成果が得られており、最適化ダイナミクスにおける本質的な違いが示唆されている。
• 本手法は、CLIP埋め込みを用いた具体的な画像フィッティングと抽象的コンセプト生成の両方において、同等に効果的かつ一般化可能である。