[논문 리뷰] Toward Modeling Creative Processes for Algorithmic Painting

Aaron Hertzmann|arXiv (Cornell University)|2022. 05. 03.

Aesthetic Perception and Analysis인용 수 7

한 줄 요약

이 논문은 인간의 창의적 과정을 모방하기 위해 모호하고 고수준의 목표와 탐색적이고 반복적인 전략을 조합하는 계산 프레임워크를 제안한다. 불명확한 손실 함수와 계층적 작업 분해를 도입하여 동적 스타일의 부상과 과정 중심의 창의성을 가능하게 하며, 고정된 스타일과 최적화 기반 렌더링을 넘어서 예술적 진화와 개방형 탐색을 더 잘 모방한다.

ABSTRACT

This paper proposes a framework for computational modeling of artistic painting algorithms, inspired by human creative practices. Based on examples from expert artists and from the author's own experience, the paper argues that creative processes often involve two important components: vague, high-level goals (e.g., "make a good painting"), and exploratory processes for discovering new ideas. This paper then sketches out possible computational mechanisms for imitating those elements of the painting process, including underspecified loss functions and iterative painting procedures with explicit task decompositions.

연구 동기 및 목표

• 현재 알고리즘화된 풍경화 시스템에서 과정 중심의 개방형 창의성이 부족한 문제를 해결하기 위해, 고정된 스타일과 사전 정의된 목표에 국한된 제약을 제거한다.
• 예술적 창의성을 고정된 목표가 아니라 '좋은 그림을 그려라'와 같은 모호하고 고수준의 의도에 의해 이끄는 진화하는 과정으로 모델링한다.
• 전략 선택과 반복적 보완과 같은 탐색적 행동을 계산적 풍경화 알고리즘에 통합하여 인간 예술가의 관행을 모방한다.
• 시각적 손실 함수와 정형적 탐색 간의 상호작용을 통해 예술적 스타일과 구조가 사전에 지정되지 않고도 부상하도록 하는 프레임워크를 개발한다.
• 사용자 피드백과 계층적 작업 분해를 통해 시스템이 스스로 창의적 전략을 학습하고 진화시킬 수 있도록 한다.

제안 방법

• 스타일이나 목표를 고정하지 않는 불명확한 손실 함수를 사용하여, 그림을 그릴 동안 스타일과 목적이 부상하도록 한다.
• 그림의 과정을 전략(예: 스케치, 칠하기)과 하위 작업(예: 형태 보완, 그림자 처리)으로 나누는 계층적 작업 분해를 구현한다.
• 전략 선택, 작업 실행, 평가를 반복하는 루프 기반 알고리즘을 사용하며, 초기 단계에서 랜덤성을 강조하여 새로운 아이디어를 유도한다.
• 인간의 예술적 품질 판단을 근사하는 시각적 손실 함수로 탐색을 이끌며, 시간이 지남에 따라 영향력을 점차 증가시킨다.
• 초기 단계의 결정을 위한 정형 규칙을 통합하고, 사용자 피드백을 활용한 학습 기반 결정보다 전략을 시간이 지남에 따라 적응적으로 변화시킨다.
• 정형적 방법과 최적화 기반 방법을 동적으로 조합한다: 초기 단계는 정형적 풍경화를 닮았고, 후반 단계는 최적화를 통한 보완에 중점을 둔다.

실험 결과

연구 질문

• RQ1 어떻게 알고리즘화된 풍경화 시스템이 사전에 지정하지 않고도 과정을 통해 예술적 스타일과 목표가 부상하는지를 모델링할 수 있는가?
• RQ2 어떤 계산적 메커니즘이 인간 예술가의 탐색적이고 반복적인 실천 방식을 알고리즘화된 풍경화에 구현할 수 있는가?
• RQ3 불명확한 손실 함수는 아티스틱 스타일이나 목표를 고정하지 않고 창의적 탐색을 어떻게 이끌 수 있는가?
• RQ4 계층적 작업 분해는 AI 시스템에서 더 인간다운 전략 중심의 풍경화 과정을 어떻게 가능하게 하는가?
• RQ5 생성된 출력에 대한 사용자 피드백에서 학습함으로써 새로운 개인화된 예술적 스타일이 알고리즘화된 풍경화에서 진화할 수 있는가?

주요 결과

• 논문은 스타일과 목적이 사전에 지정되지 않고 과정을 통해 부상할 수 있음을 입증하며, 스타일이 사전에 고정되어야 한다는 전제를 도전한다.
• 탐색적 과정, 즉 랜덤 전략 선택과 반복적 보완은 놀라움과 다양성을 갖춘 예술적 결과를 생성하는 데 필수적이다.
• 불명확한 손실 함수는 민감한 시각적 지침에 기반한 탄력적인 탐색을 가능하게 하여, 창작 과정 내내 목표를 동적으로 조정할 수 있도록 한다.
• 계층적 작업 분해의 통합은 인간 예술가의 워크플로우를 반영한 구조화된 그러나 개방형인 그림 그리기 과정을 가능하게 한다.
• 정형적 탐색에서 최적화 기반 보완으로의 전환은 인간 예술가가 작품을 시간이 지남에 따라 진화시키는 방식을 모방한다.
• 사용자 피드백에서 학습 기반 결정보다 시스템이 스스로 창의적 전략을 진화시킬 수 있으며, 이는 장기적인 스타일적 진화를 가능하게 한다.