[논문 리뷰] Modern Evolution Strategies for Creativity: Fitting Concrete Images and Abstract Concepts

Yingtao Tian, David Ha|arXiv (Cornell University)|2021. 09. 18.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 현대적 진화 전략(ES)을 사용하여 목표 이미지나 텍스트 프롬프트를 CLIP 임베딩을 통해 매칭하는 방식으로 투명한 삼각형의 위치와 색상을 최적화함으로써 기하학적 추상 예술을 생성하는 것을 제안한다. 이는 경사 기반 방법과 비교해 유사한 품질과 효율성을 달성하면서도, 특히 추상 표현주의 스타일에서 차별화된 다각적이고 인간 중심의 추상화를 생성함을 보여준다.

ABSTRACT

Evolutionary algorithms have been used in the digital art scene since the 1970s. A popular application of genetic algorithms is to optimize the procedural placement of vector graphic primitives to resemble a given painting. In recent years, deep learning-based approaches have also been proposed to generate procedural drawings, which can be optimized using gradient descent. In this work, we revisit the use of evolutionary algorithms for computational creativity. We find that modern evolution strategies (ES) algorithms, when tasked with the placement of shapes, offer large improvements in both quality and efficiency compared to traditional genetic algorithms, and even comparable to gradient-based methods. We demonstrate that ES is also well suited at optimizing the placement of shapes to fit the CLIP model, and can produce diverse, distinct geometric abstractions that are aligned with human interpretation of language. Videos and demo: https://es-clip.github.io/

연구 동기 및 목표

• 기하학적 기하학적 원소를 사용한 계산 창의성에 있어서 현대적 진화 전략(ES)을 활용해 기존의 경사 기반 최적화 방법 외의 대안으로 진화 알고리즘을 재검토한다.
• 기하학적 원소를 사용해 이미지를 합성할 때 기존 유전 알고리즘보다 품질과 효율성을 향상시킨다.
• 텍스트 프롬프트에 대한 언어 해석과의 일치를 위해 CLIP 임베딩을 사용해 형태의 배치를 최적화함으로써 인간의 해석과의 일치를 가능하게 한다.
• ES가 구체적인 이미지가 아닌 추상 개념을 반영하는 다각적이고 독특한 기하학적 추상화를 생성할 수 있는지 탐구한다.
• ES가 절차적 예술 생성 분야에서 경사 기반 방법에 대한 도메인에 구애받지 않는 탄력적인 대안이 될 수 있음을 보여준다.

제안 방법

• 이 방법은 50개의 투명 삼각형의 위치, 색상, 투명도를 최적화하여 렌더링된 이미지와 목표 이미지 또는 텍스트 프롬프트 사이의余弦 거리를 최소화하는 방식으로 작동한다.
• 적합도는 CLIP의 이미지 및 텍스트 인코더를 사용하여 계산되며, 렌더링된 캔버스와 CLIP 임bed된 목표 간의 유사도가 목적 함수로 사용된다.
• 최적화는 ES의 PGPE(매개변수 지수 증가를 갖는 정책 기반 경사) 변종을 사용하며, ClipUp을 통해 비미분 가능 렌더링 최적화를 효율적으로 수행한다.
• 렌더링 과정은 기울기 기반 비교를 허용하는 nvdiffrast를 사용해 미분 가능한 삼각형 조합을 구현하지만, 주요 최적화는 여전히 ES 기반이다.
• 생성된 추상화의 다양성과 강건성을 평가하기 위해 각 프롬프트에 대해 다수의 독립적인 실행을 수행한다.
• 이 방법은 이미지 피팅(예: 몬아 릴라)과 텍스트 기반 이미지 생성(예: '칸딘스키 스타일의 산을 그린 그림')을 모두 지원한다.

실험 결과

연구 질문

• RQ1 기하학적 원소를 사용한 절차적 이미지 합성에서 현대적 진화 전략(ES)이 전통적 유전 알고리즘보다 품질과 효율성 면에서 뛰어나게 작용할 수 있는가?
• RQ2 ES 기반 최적화가 인간의 언어 해석과 일치하는 추상 예술을 생성할 때 경사 기반 방법과 비교해 어떻게 다를 수 있는가?
• RQ3 동일한 텍스트 프롬프트에서 ES가 얼마나 다양한 독특한 기하학적 추상화를 생성할 수 있는가? 이는 의미적 개념을 어떻게 반영하는가?
• RQ4 ES 최적화에서 유도되는 예술 스타일은 무엇이며, 이는 미분 가능한 렌더링 방식에서 유도되는 스타일과 어떻게 다를 수 있는가?
• RQ5 ES는 절차적 예술 생성 분야에서 경사 기반 방법에 대한 도메인에 구애받지 않는 대안이 될 수 있는가?

주요 결과

• 비미분 가능한 방법임에도 불구하고 현대적 진화 전략(ES)은 최첨단의 미분 가능한 렌더링 방법과 유사한 이미지 합성 품질과 최적화 효율성을 달성한다.
• ES 기반 방법은 '산'이나 '밤의 도시'와 같은 텍스트 프롬프트에 대해 인간의 의미 해석과 명확히 일치하는 기하학적 추상화를 생성하며, 높은 의미적 정밀도를 보인다.
• 동일한 텍스트 프롬프트에 대해 다수의 독립적인 실행을 통해 다양하고 독특한 결과를 도출함으로써 강력한 탐색 능력과 창의적 다양성을 입증한다.
• ES로 생성된 예술은 더 뚜렷하고 더 추상 표현주의적인 스타일을 띠며 명확한 경계와 기하학적 형태를 보이며, 경사 기반 최적화 방식에서 도출되는 더 부드럽고 융합된 결과와 대비된다.
• 경사 기반 접근 방식에서 볼 수 없었던 고유한 예술적 결과를 생성함으로써 최적화 동역학에 내재된 본질적 차이를 시사한다.
• 이 방법은 구체적인 이미지 피팅과 추상 개념 생성 모두에 동일하게 잘 작동함으로써 강건하고 일반화 가능한 특성을 보이며, CLIP 임베딩을 활용한 응용에 적합하다.