[論文レビュー] Toward Modeling Creative Processes for Algorithmic Painting

Aaron Hertzmann|arXiv (Cornell University)|May 3, 2022

Aesthetic Perception and Analysis被引用数 7

ひとこと要約

本論文は、曖昧で高水準の目的と探索的で反復的な戦略を組み合わせることで、人間の創造的プロセスを模倣する計算フレームワークを提案する。不確実な損失関数と階層的タスク分解を導入することで、固定スタイルや最適化に基づくレンダリングを越えて、動的なスタイルの出現とプロセス駆動型の創造性を実現し、芸術的進化や開かれた探索をよりよく模倣する。

ABSTRACT

This paper proposes a framework for computational modeling of artistic painting algorithms, inspired by human creative practices. Based on examples from expert artists and from the author's own experience, the paper argues that creative processes often involve two important components: vague, high-level goals (e.g., "make a good painting"), and exploratory processes for discovering new ideas. This paper then sketches out possible computational mechanisms for imitating those elements of the painting process, including underspecified loss functions and iterative painting procedures with explicit task decompositions.

研究の動機と目的

• 現在のアルゴリズム的ペインティングシステムに見られるプロセス駆動型で開かれた創造性の欠如に応えること。これらは固定スタイルや事前に定義された目的に限定されている。
• 芸術的創造性を固定された目的としてではなく、『良い絵を描く』といった曖昧で高水準の意図によって導かれる進化するプロセスとしてモデル化すること。
• 戦略選択や反復的精錬といった探索的行動を、人間のアーティストの実践を模倣して、計算的ペインティングアルゴリズムに統合すること。
• 芸術的スタイルや構造が、事前に指定されるのではなく、知覚的損失関数と手続き的探索の相互作用によって生じるフレームワークを開発すること。
• ユーザーのフィードバックと階層的タスク分解を通じて、システムが自らの創造的戦略を学び、進化させることを可能にすること。

提案手法

• スタイルや目的を固定しない不確実な損失関数を用いて、描画中にスタイルや目的が出現するのを許容する。
• 描画プロセスを戦略（例：スケッチ、色塗り）とサブタスク（例：形状の精錬、陰影）に階層的に分解する。
• 戦略選択、タスク実行、評価を繰り返すループベースのアルゴリズムを実装し、初期段階ではランダム性を強調することで新奇性を促進する。
• 人間の芸術的品質判断を近似する知覚的損失関数を用いて探索をガイドし、時間の経過とともにその影響を増大させる。
• 初期段階の意思決定に手続き的ルールを統合し、ユーザーのフィードバックを用いた学習ベースの意思決定により、戦略を時間経過とともに適応可能にする。
• 手続き的および最適化ベースの手法を動的に統合する：初期段階は手続き的ペインティングに似ており、後続段階では最適化による精錬を強調する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的ペインティングシステムは、事前に定義せず、プロセスを通じて芸術的スタイルや目的が出現するのをどうモデル化できるか？
• RQ2 人間の芸術的実践の探索的かつ反復的な性質を模倣するための計算的メカニズムは何か？
• RQ3 不確実な損失関数は、芸術的スタイルや目的を固定せずに、創造的探索をどうガイドできるか？
• RQ4 階層的タスク分解は、AIシステムにおける人間らしい戦略駆動型ペインティングプロセスをどのように可能にするか？
• RQ5 生成された出力に対するユーザーのフィードバックから学ぶことで、アルゴリズム的ペインティングにおいて新しい独自の芸術的スタイルが進化するか？

主な発見

• 本論文は、芸術的スタイルや目的が事前に指定されるのではなく、プロセスから出現することを示しており、スタイルを事前に固定する必要があるという仮定に挑戦する。
• ランダムな戦略選択や反復的精錬を含む探索的プロセスは、驚きや多様性に満ちた芸術的成果を生成するために不可欠である。
• 不確実な損失関数により、柔軟で知覚的ガイドの探索が可能となり、創造過程において目的を動的に適応できる。
• 階層的タスク分解の統合により、構造的かつ開かれたペインティングプロセスが実現され、人間のアーティストのワークフローを模倣する。
• フレームワークは、手続き的探索から最適化ベースの精錬への移行をサポートし、人間のアーティストが作品を時間経過とともに進化させるのを模倣する。
• ユーザーのフィードバックから学ぶ意思決定は、システムが自らの創造的戦略を進化させることを可能にし、長期的なスタイル進化を実現する。