[論文レビュー] Aesthetics of Neural Network Art

Aaron Hertzmann|arXiv (Cornell University)|Mar 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 8

ひとこと要約

この論文は、ニューラルネットワークアートの美的魅力が、現実的な視覚的手がかりの非同尋常な組み合わせに由来すると提案している。自然画像で訓練されたモデルを活用することで、魅力的でアンニュイな変種を生成する。GAN、DeepDream、ニューラルスタイル変換を分析することにより、なじみ深い画像構造内での知覚的新奇性が美的関心を生むことが示されている。

ABSTRACT

This paper proposes a way to understand neural network artworks as juxtapositions of natural image cues. It is hypothesized that images with unusual combinations of realistic visual cues are interesting, and, neural models trained to model natural images are well-suited to creating interesting images. Art using neural models produces new images similar to those of natural images, but with weird and intriguing variations. This analysis is applied to neural art based on Generative Adversarial Networks, image stylization, Deep Dreams, and Perception Engines.

研究の動機と目的

• ニューラルネットワーク生成アートの背後にある美的原則を理解すること。
• 特定のニューラルネットワーク出力がなぜ視覚的に魅力的または芸術的と感じられるのかを調査すること。
• 特に現実的特徴の非同尋常な組み合わせが、美的魅力を生む役割を特定すること。
• ニューラル画像生成技術と人間の視覚的関心および新奇性の知覚を結びつけること。
• 多様なニューラルアート手法を、視覚的手がかりの対比という共通の枠組みで統一すること。

提案手法

• 画像生成を知覚的特徴の操作として扱い、自然画像の手がかりの対比としてニューラルネットワークアートを分析する。
• 自然画像で訓練されたモデル（例：GAN、オートエンコーダ）を用いて、非同尋常な手がかりの組み合わせを持つ画像を生成する。
• 生成的対抗ネットワーク（GANs）、DeepDream、ニューラルスタイル変換、およびパーセプションエンジンといった複数の技術にこの枠組みを適用する。
• 明示的な損失関数ではなく、手がかりの組み合わせの知覚的分析を通じて美的品質を評価する。
• 画像出力の新奇性と視覚的関心を評価するために、定性的かつ知覚的評価に依存する。
• 生成プロセスを視覚的手がかりの空間における探索として位置づけ、芸術的効果を得るためにまれまたは矛盾する組み合わせを好む。

実験結果

リサーチクエスチョン

• RQ1 自然画像の事前学習に基づいているにもかかわらず、なぜニューラルネットワーク生成画像が美的に魅力的と感じられるのか？
• RQ2 現実的な視覚的手がかりの非同尋常な組み合わせが、芸術的関心の認識にどのように寄与するのか？
• RQ3 多様なニューラルアート手法が、一貫した知覚的枠組みの下で統合できる程度はどの程度か？
• RQ4 なぜ自然画像で訓練されたモデルが、奇妙または魅力的に感じられる画像を生成するのか？
• RQ5 知覚的手がかりは、ディープラーニングで生成されたアートの美的評価において、どのような役割を果たすのか？

主な発見

• ニューラルネットワークアートは、現実的な視覚的手がかりを非同尋常または矛盾する組み合わせで対比させることで、美的関心を達成する。
• 自然画像で訓練されたモデルは、本質的に妥当な画像構造を学習するが、これを操作することで新奇で魅力的な変種を生成できる。
• DeepDream や GAN、ニューラルスタイル変換といった技術は、すべて、予期しない方法で知覚的手がかりを強調または再結合することで、このメカニズムを活用している。
• 得られる画像はランダムではなく、構造的整合性を保っているため、奇妙または夢のような印象を与えながらも視覚的に魅力的である。
• 美的魅力はランダム性や複雑さによるのではなく、手がかりの不整合や誇張によって生じる知覚的新奇性に起因する。
• この枠組みは、手がかりに基づく視覚的驚きという共通のメカニズムと結びつけることで、さまざまなニューラルアート手法の成功を説明できる。