[論文レビュー] CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms

Ahmed Elgammal, Bingchen Liu+2 more|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 223

ひとこと要約

CAN は GAN の目的を修正し、確立されたスタイルからの逸脱を最大化しつつ美術分布に近い状態を保つことで人間のような芸術的創造性を可能にする。実験では CAN が生成した画像はしばしば人間にとってアーティストが創作した美術と区別できない。

ABSTRACT

We propose a new system for generating art. The system generates art by looking at art and learning about style; and becomes creative by increasing the arousal potential of the generated art by deviating from the learned styles. We build over Generative Adversarial Networks (GAN), which have shown the ability to learn to generate novel images simulating a given distribution. We argue that such networks are limited in their ability to generate creative products in their original design. We propose modifications to its objective to make it capable of generating creative art by maximizing deviation from established styles and minimizing deviation from art distribution. We conducted experiments to compare the response of human subjects to the generated art with their response to art created by artists. The results show that human subjects could not distinguish art generated by the proposed system from art generated by contemporary artists and shown in top art fairs. Human subjects even rated the generated images higher on various scales.

研究の動機と目的

• 人間の介在なしに創作のための計算的創造システムを研究する。
• 既存のスタイルから逸脱しつつ美術分布内に留まることで生成器の覚醒ポテンシャルを高められるようにする。
• 美術空間の創造的探索を推進するために覚醒と慣れの理論を取り入れる。
• CAN が生成した美術が人間に芸術として認識されうるかを評価し、アーティスト作品およびベースライン GAN の出力と比較する。

提案手法

• 識別器からの2つの信号を用いてGANを拡張する：芸術起源の尤度とスタイル分類の曖昧性。
• エントロピーを最大化するのではなく、均一なスタイル分布とのクロスエントロピーを最小化することによるスタイル曖昧性の目的を導入する。
• CAN 生成器を訓練し、実際の美術である可能性が高いがスタイル分類が最大に曖昧となる画像を生成させる。
• 識別器は実在の美術と偽物の美術を区別するだけでなく、複数の美術運動のスタイルを分類することも学習する。
• 100 次元の潜在入力とアップサンプリング構造を用いて 256×256 の画像出力へと拡張する DCGAN スタイルの生成器を使用する。
• 多数のスタイルにわたる WikiArt データで訓練し、安定性のためにデータ拡張とバッチ正規化を用いる。

実験結果

リサーチクエスチョン

• RQ1 CAN は、確立されたスタイルに明確には適合しない一方で、人間が美術として認識する作品を生成できるだろうか？
• RQ2 スタイル曖昧性損失を導入することで、生成された美術がスタイルの規範から逸脱しつつ、より広範な美術分布の範囲にとどまるのだろうか？
• RQ3 人間の評価者により、CAN 生成画像は基準 GAN の出力と比較して好まれるか、あるいは人間が作成した美術と区別できないか？
• RQ4 スタイル分類の追加とスタイル曖昧性の追加が、美術分布の模倣と創造性に対してどのような影響をもたらすか？
• RQ5 人間作成の抽象表現主義やアート・バーゼルの作品と比較して、CAN生成画像は知覚上の独創性と好感度の点でどうか？

主な発見

• CAN 生成画像はしばしば美的に魅力的で、伝統的なジャンルや識別可能な人物には似ていない。
• 実験では、人間は CAN 生成美術を現代アーティストの作品と識別できず、DCGAN のベースラインを上回った。
• スタイル曖昧性を用いた CAN は、スタイル分類 CAN と比べてより新規性の高そうな画像を生成しつつ美術分布に似ている点が特徴である。
• 実験では、抽象表現主義およびアート・バーゼルのセットは、CAN 出力よりも人間がアーティスト作と識別するのが容易だった一方、CAN は GAN ベースラインよりもアーティスト風の認知に近づいた。
• 定量的実験では、CAN 生成画像は好意的な似せ度評価を受け、DCGAN 変種と比較した場合、被評者がそれらをコンピュータ作と特定する能力が低下した。