[論文レビュー] Unsupervised Doodling and Painting with Improved SPIRAL

John F. J. Mellor, Eunbyung Park+8 more|arXiv (Cornell University)|Oct 2, 2019

Aesthetic Perception and Analysis参考文献 43被引用数 24

ひとこと要約

本論文は、模擬環境における自己教師ありのブラシベースの描画を通じて、画像を生成するように訓練する強化学習フレームワーク、SPIRAL++を提案する。ポリシー・ネットワークとディスクラミネーターを同時に訓練することで、教師なしで視覚的に抽象的で現実的な画像——最小限のストロークで顔を再現するなど——を生成するエージェントが学習する。身体的シミュレーションを通じて、自己組織的視覚抽象化が出現することを示している。

ABSTRACT

We investigate using reinforcement learning agents as generative models of images (extending arXiv:1804.01118). A generative agent controls a simulated painting environment, and is trained with rewards provided by a discriminator network simultaneously trained to assess the realism of the agent's samples, either unconditional or reconstructions. Compared to prior work, we make a number of improvements to the architectures of the agents and discriminators that lead to intriguing and at times surprising results. We find that when sufficiently constrained, generative agents can learn to produce images with a degree of visual abstraction, despite having only ever seen real photographs (no human brush strokes). And given enough time with the painting environment, they can produce images with considerable realism. These results show that, under the right circumstances, some aspects of human drawing can emerge from simulated embodiment, without the need for external supervision, imitation or social cues. Finally, we note the framework's potential for use in creative applications.

研究の動機と目的

• 強化学習エージェントが、模擬環境における自己教師ありのブラシベースの描画を通じて、現実的で抽象的な画像を生成できるかどうかを調査すること。
• 身体的エージェントが明示的な監視や模倣なしに、人間のダフリングやスケッチに類似した視覚的抽象化がどのように出現するかを検討すること。
• 元のSPIRALフレームワークをスケーリングおよびアーキテクチャチューニングすることで、画像の精細度と現実性を向上させること。
• 環境の構造（例：ブラシの物理法則、有限なエピソード長）が、生成エージェントにおける抽象化と現実性の出現に与える影響を評価すること。
• 本フレームワークのクリエイティブ応用の可能性を評価すること、例えば、新しい芸術的スタイルの生成や再構築タスクなど。

提案手法

• フレームワークは、現在のキャンバス状態に基づいて、各ステップでブラシストロークのパラメータ（色、サイズ、圧力）を選択するポリシー・ネットワーク（エージェント）を使用する。
• 微分可能なレンダラが、各ストロークコマンドに応じたキャンバスの更新をシミュレートし、描画プロセスにおける物理的現実性を保証する。
• ディスクラミネーター・ネットワークは、本物の画像と生成画像を区別するために敵対的に訓練され、ポリシー訓練の報酬信号を提供する。
• ポリシーとディスクラミネーターは強化学習を用いて同時に訓練され、エージェントはディスクラミネーターが評価する現実性を最適化するように学習する。
• アーキテクチャの改善には、より良い正規化、残差接続、トレーニング正則化を含み、安定性とパフォーマンスの向上を図る。
• トレーニングプロセスは有限なホライズンで実行され、1枚の画像あたりのストローク数が制限されるため、抽象化と効率性を促進する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの強化学習エージェントは、人間のスケッチにアクセスせずに、模擬描画を通じて現実的で抽象的な画像を生成できるか？
• RQ2 身体的エージェントが明示的な監視なしに、顔を数ストロークで表現するような視覚的抽象化が、どの程度出現するか？
• RQ3 環境の構造（例：ブラシの物理法則、有限なエピソード長）が、抽象化と現実性の出現にどのように影響するか？
• RQ4 ディスクラミネーターは、ピクセルレベルの類似性よりも意味的類似性を優先して学習できるか？これは、高レベルの視覚的理解の発展を示唆する。
• RQ5 SPIRALフレームワークのスケーリングとアーキテクチャの最適化は、先行研究と比較して、画像品質と多様性を顕著に向上させるか？

主な発見

• SPIRAL++で訓練された生成エージェントは、視覚的抽象性の高い画像を生成する。例えば、3〜4ストロークで顔を識別可能な形で描画する。各ストロークは目、鼻、または口を表す。
• 人間のスケッチを見せられなかったにもかかわらず、エージェントは多様な芸術的スタイルを学習し、予期しないが美的に洗練された構図を生成する。
• 定性的分析とアブレーションスタディによる検証を通じて、元のSPIRALと比較して、画像の現実性と精細度に顕著な向上を達成した。
• ディスクラミネーターは、ピクセルレベルの類似性ではなく、意味的構造に基づいて現実性を評価するよう学習し、高レベルの視覚的推論の出現を示している。
• 十分なトレーニング時間とエピソード長を経ると、エージェントは複雑で現実的な画像を生成し、写真並みの品質に近づく。
• 結果として、視覚的抽象化と現実性が、監視、模倣、社会的ヒントなしに、環境的制約と敵対的訓練にのみ依存して、身体的シミュレーションから出現することが示された。