[論文レビュー] Active Divergence with Generative Deep Learning -- A Survey and Taxonomy

Terence Broad, Sebastian Berns+2 more|arXiv (Cornell University)|Jul 12, 2021

Artificial Intelligence in Games参考文献 52被引用数 6

ひとこと要約

本論文は、生成的深層学習における能動的乖離技術の包括的サーベイと分類を提示し、訓練データから創造的に逸脱するのではなく単に再現するのを避ける手法に焦点を当てている。モデル操作、潜在空間最適化、外部知識統合といったキーストラテジーを特定し、データ適合を超えた自律的かつ創造的なAIシステムのための今後の研究方向性を提示する。

ABSTRACT

Generative deep learning systems offer powerful tools for artefact generation, given their ability to model distributions of data and generate high-fidelity results. In the context of computational creativity, however, a major shortcoming is that they are unable to explicitly diverge from the training data in creative ways and are limited to fitting the target data distribution. To address these limitations, there have been a growing number of approaches for optimising, hacking and rewriting these models in order to actively diverge from the training data. We present a taxonomy and comprehensive survey of the state of the art of active divergence techniques, highlighting the potential for computational creativity researchers to advance these methods and use deep generative models in truly creative systems.

研究の動機と目的

• 生成的深層学習モデルが訓練データ分布から創造的に逸脱する能力に制限を受けるという問題に対処すること。
• 訓練データの再現を越えて、新規で再現不能な芸術的成果物を生成するのを能動的に操作する技術をサーベイおよび分類すること。
• 自律的かつ創造的な生成システムの発展に向けた主要な研究ギャップと今後の方向性を同定すること。
• データ適合を超えることによって、計算的創造性および創造的支援ツールを支援すること。
• 意味のある乖離を促進する新しい評価指標および目的関数を提唱すること。

提案手法

• 計算的創造性、芸術、およびAI研究の分野における能動的乖離技術の分類を構築する。
• ネットワークの歪み、潜在空間最適化、モデルの再定義などのカテゴリに手法を分類する。
• VAE、GAN、およびフローベーストモデルを含む条件付きおよび非条件付き生成モデルの乖離可能性を分析する。
• 外部知識ソースおよび記号的表現を活用して、創造的なモデル操作をガイドする。
• マルチエージェントシステムおよびオープンエンドド強化学習を、自律的創造的行動のフレームワークとして探求する。
• データ収集および意味的特徴の操作を通じて、システムの意図を定式化・実現する概念を提唱する。

実験結果

リサーチクエスチョン

• RQ1 生成的深層学習モデルは、どのようにして訓練データとは有意義に異なる芸術的成果物を能動的に生成できるか？
• RQ2 異なる研究分野における能動的乖離技術の主な技術的および概念的カテゴリは何か？
• RQ3 外部知識および意味的関係は、どのようにして創造的なモデル改変をガイドできるか？
• RQ4 マルチエージェントシステムおよび強化学習は、自律的創造的乖離を可能にするために果たす役割は何か？
• RQ5 乖離生成の質と新規性を評価するために、どのような新しい評価指標および目的関数が必要か？

主な発見

• ネットワークの歪みや潜在空間最適化といった能動的乖離技術により、訓練データに存在しない新規な芸術的成果物を生成できる。
• pix2pixのような条件付き生成モデルは、画像変換タスクにおける入力から出力へのマッピングを通じて、制御された乖離を可能にする。
• モデルの再定義およびアーキテクチャの操作により、異なるクラスの特徴を組み合わせたハイブリッドまたは概念的に融合された出力が得られる。
• 外部知識の統合により、人間による手作業による干渉を超えた、より柔軟で意味的にインフォームドな創造的制御が可能になる。
• マルチエージェントシステムおよびオープンエンドド強化学習は、自律的創造的行動への道筋を提供するが、現段階ではまだ初期段階にとどまっている。
• 標準化された評価指標の欠如が、能動的乖離手法の発展およびベンチマーク化を阻害する主要な障壁のままだ。