[論文レビュー] Deep Convolutional Networks as Models of Generalization and Blending Within Visual Creativity

Graeme McCaig, Steve DiPaola+1 more|arXiv (Cornell University)|Oct 8, 2016

Aesthetic Perception and Analysis参考文献 33被引用数 19

ひとこと要約

この論文は、Gatysら（2015）とMordvintsevら（2015）の2つの深層学習ベースの画像生成アルゴリズムを分析し、深層畳み込みニューラルネットワークを用いてコンテンツとスタイルの特徴を統合している。これらのモデルは、人間の創造的プロセス、特に概念の融合と磨き込みの類似物として位置づけられ、特徴レベルでの一般化と統合を通じて、新規で美的な画像を生成する能力を示している。

ABSTRACT

We examine two recent artificial intelligence (AI) based deep learning algorithms for visual blending in convolutional neural networks (Mordvintsev et al. 2015, Gatys et al. 2015). To investigate the potential value of these algorithms as tools for computational creativity research, we explain and schematize the essential aspects of the algorithms' operation and give visual examples of their output. We discuss the relationship of the two algorithms to human cognitive science theories of creativity such as conceptual blending theory and honing theory, and characterize the algorithms with respect to generation of novelty and aesthetic quality.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCNN）が、人間の類似した一般化と統合を視覚的創造性においてモデル化できるかどうかを調査すること。
• DCNNベースの画像生成アルゴリズムが、計算的創造性研究のツールとしての可能性を評価すること。
• これらのアルゴリズムが出力する画像の新規性と美的品質が、創造性の認知理論とどのように関係するかを評価すること。
• アルゴリズムの行動と認知科学における概念的ブレンド理論および磨き込み理論との整合性を調査すること。

提案手法

• 論文は、Gatysら（2015）によるニューラルスタイル転送とMordvintsevら（2015）によるニューラル画像合成という、2つの代表的なDCNNベースの画像生成手法のアーキテクチャと最適化プロセスを分析している。
• 両アルゴリズムが、事前学習済みの畳み込みネットワーク（例：VGG）の特徴表現を用いて、コンテンツとスタイルの情報を分離し再結合する方法を検討している。
• 最適化プロセスでは、特定の層からの活性化（コンテンツ損失）と特徴マップのグラム行列（スタイル損失）を組み合わせた損失関数を最小化するように生成画像を最適化する。
• 著者たちは、図解やスケーマティック図を用いて、アルゴリズムの内部的動作を説明し、特徴レベルでの統合と一般化に焦点を当てている。
• 認知科学における理論的枠組み、特に概念的ブレンド理論と磨き込み理論と、アルゴリズムの行動を比較している。
• 分析は、訓練データの直接的なコピーではないが、構造的およびスタイル的要素の新規な組み合わせを生成するなど、モデルの顕在的特性に注目しており、創造的タスクの明示的学習は行われていない。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークは、人間の視覚的創造性に観察される一般化と統合プロセスをどの程度モデル化できるか？
• RQ2 ニューラルスタイル転送とニューラル画像合成のアーキテクチャおよび最適化メカニズムは、認知科学における概念的ブレンド理論とどの程度整合するか？
• RQ3 生成画像の美的品質とDCNNの内部特徴表現との間にどのような関係があるか？
• RQ4 これらのモデルが新規な画像コンポジションを生成することは、計算的創造性の一形態として解釈できるか？
• RQ5 これらのアルゴリズムは、特徴レベルの最適化を通じて、コンテンツの保持とスタイル転送をどのように達成しているか？

主な発見

• Gatysら（2015）とMordvintsevら（2015）の2つのアルゴリズムは、深層特徴最適化を通じてコンテンツとスタイルを統合し、新規で視覚的に整合性のある画像を生成する。
• モデルは、学習データの直接的なコピーではないが、構造的およびスタイル的要素の新規な組み合わせを生成する能力、つまり一般化の能力を示している。
• 生成画像は美的な品質を有しており、知覚的な整合性と視覚的な豊かさを備えており、深層特徴空間が意味的な創造的統合を支えることを示唆している。
• 両モデルの最適化プロセスは、フィードバックを介して望ましい結果に向けて表現を段階的に改善するという認知プロセス「磨き込み」と一致している。
• モデルの行動は、異なる表現（コンテンツとスタイル）の要素が統合され、新たな統合的全体へと融合されるという概念的ブレンドの主要な側面を模倣している。
• 本研究は、認識タスクのために訓練されたDCNNが、視覚ドメインにおける人間の類似創造的ブレンドと一般化を効果的な計算モデルとして提供できることを確立している。