[論文レビュー] Mechanisms of Artistic Creativity in Deep Learning Neural Networks

Lonce Wyse|arXiv (Cornell University)|Jun 30, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 5

ひとこと要約

この論文は、深層学習ニューラルネットワークにおける芸術的創造性の5つの行動的特徴——独自性、柔軟性、精緻化、流暢さ、美的質——を特定し、これらが元々分類タスクを目的として設計されたアーキテクチャから偶然に生じることを示している。これらの特徴の裏側にあるメカニズムは、知覚計算プロセスに由来しており、機械の創造性は神秘的ではなく、非創造的なニューラルマシンの複雑な構造に根ざしていることが明らかになった。

ABSTRACT

The generative capabilities of deep learning neural networks (DNNs) have been attracting increasing attention for both the remarkable artifacts they produce, but also because of the vast conceptual difference between how they are programmed and what they do. DNNs are 'black boxes' where high-level behavior is not explicitly programmed, but emerges from the complex interactions of thousands or millions of simple computational elements. Their behavior is often described in anthropomorphic terms that can be misleading, seem magical, or stoke fears of an imminent singularity in which machines become 'more' than human. In this paper, we examine 5 distinct behavioral characteristics associated with creativity, and provide an example of a mechanisms from generative deep learning architectures that give rise to each these characteristics. All 5 emerge from machinery built for purposes other than the creative characteristics they exhibit, mostly classification. These mechanisms of creative generative capabilities thus demonstrate a deep kinship to computational perceptual processes. By understanding how these different behaviors arise, we hope to on one hand take the magic out of anthropomorphic descriptions, but on the other, to build a deeper appreciation of machinic forms of creativity on their own terms that will allow us to nurture their further development.

研究の動機と目的

• 生成的深層学習における芸術的創造性の認識を解明し、その機構的起源を分析すること。
• 生成的深層ニューラルネットワークに関連する創造性と関連する5つの行動的特徴を特定・説明すること。
• これらの創造的行動が、非創造的で分類指向のアーキテクチャから偶然に生じることを示すこと。
• 人間中心の比喩に依存せずに、機械的創造性をその独自の基準でより深く理解することを促すこと。
• 人間中心の比喩に依存せずに、人工的創造的システムを育成・発展させるための枠組みを提供すること。

提案手法

• 自動エンコーダーやGANなどの生成的深層学習アーキテクチャを分析し、創造的行動を生じさせるメカニズムを同定すること。
• 独自性、柔軟性、精緻化、流暢さ、美的質という5つの主要な創造的特徴を、特定のアーキテクチャ的および最適化ダイナミクスにマッピングすること。
• 標準的な分類ネットワークで使用される誤差逆伝播、重み初期化、活性化関数から、これらの特徴がどのように生じるかを追跡すること。
• 生成モデルにおける潜在空間の補間とノイズ注入が、新規で多様的かつ美的に妥当な出力を生じる仕組みを検討すること。
• 画像生成モデルの事例研究を通じて、知覚処理メカニズムが創造的と似た出力を可能にする仕組みを提示すること。
• 概念的分析を適用し、意図的な設計とは対照的に、予期しないが体系的な結果として生じる創造的行動を区別すること。

実験結果

リサーチクエスチョン

• RQ1 生成的深層ニューラルネットワークは、分類タスクのために訓練されているにもかかわらず、芸術的創造性に似た出力をどのように生成するのか？
• RQ2 DNNにおける特定のアーキテクチャ的または最適化メカニズムが、出力の独自性や流暢さといった特徴を生じさせる仕組みは何か？
• RQ3 深層学習における創造的行動は、意図的な設計ではなく、知覚計算の産物であると見なされる程度はどの程度か？
• RQ4 DNNにおける芸術的創造性のメカニズムを、人間中心の言語に依存せずに体系的に理解し、活用することは可能か？
• RQ5 分類指向の学習と、深層ネットワークにおける美的または新規な生成の出現との関係は何か？

主な発見

• 芸術的創造性の5つの核となる特徴——独自性、柔軟性、精緻化、流暢さ、美的質——は、創造性を目的として設計されていない深層学習アーキテクチャから生じる。
• これらの創造的行動は、分類タスクで使用される標準的な学習メカニズム——誤差逆伝播、重み初期化、活性化関数——から生じる。
• 自動エンコーダーやGANにおける潜在空間の操作により、明示的な創造的プログラミングなしに新規で多様な出力が得られ、流暢さと独自性が示される。
• 生成画像の美的質は、美しさに関する明示的なルールではなく、ネットワークが学習した知覚表現と相関している。
• 創造性を可能にするメカニズムは、計算的知覚に深く根ざしており、機械の創造性は知覚学習の副産物として生じるという示唆がある。
• 人間中心の比喩による機械の創造性の記述は誤解を招く。代わりに、これらは非意図的だが体系的な複雑な非創造的マシンの結果として理解されるべきである。