[論文レビュー] GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network

Sakib Shahriar|arXiv (Cornell University)|Aug 9, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本調査は、生成対抗ネットワーク（GANs）が視覚芸術、音楽、文学的テキストの生成にどのように応用されているかを検討し、GANアーキテクチャ、性能比較、クリエイティブAIにおける課題について包括的なレビューを提供する。本調査では、写真のようなリアルな画像合成、条件付き生成、テキストから画像へのモデリングにおける主な進歩を強調するとともに、深層生成モデルを用いた芸術的コンテンツ生成における限界と今後の研究方向性を特定する。

ABSTRACT

"Art is the lie that enables us to realize the truth." - Pablo Picasso. For centuries, humans have dedicated themselves to producing arts to convey their imagination. The advancement in technology and deep learning in particular, has caught the attention of many researchers trying to investigate whether art generation is possible by computers and algorithms. Using generative adversarial networks (GANs), applications such as synthesizing photorealistic human faces and creating captions automatically from images were realized. This survey takes a comprehensive look at the recent works using GANs for generating visual arts, music, and literary text. A performance comparison and description of the various GAN architecture are also presented. Finally, some of the key challenges in art generation using GANs are highlighted along with recommendations for future work.

研究の動機と目的

• GANを用いた視覚芸術、音楽、文学的テキストの生成に関する最近の進展を包括的にレビューすること。
• さまざまなクリエイティブドメインにおけるGANアーキテクチャの分析と比較を行うこと。
• GANを用いた高品質で一貫性があり意味のある芸術的コンテンツを生成する際の主な課題を特定すること。
• 深層学習を用いた芸術的生成モデリングにおける今後の研究のための提言を提供すること。

提案手法

• 2015年から2021年までのGANベースのアート生成に関する査読済み文献を対象とした体系的レビュー。
• 視覚的、音声的、テキスト的生成におけるアーキテクチャ、損失関数、トレーニング戦略に基づいてGANモデルを分類すること。
• FID、IS、および人間評価などの指標を用いて、StyleGAN、BigGAN、条件付きGANsなどのGANバリアントの性能を比較すること。
• 生成品質の向上に寄与する注目メカニズム、自己注意モジュール、プログレッシブ成長技術の分析。
• 分離可能な形でコンテンツ生成をガイドするための条件付き入力（例：クラスラベル、テキスト埋め込み）の統合。
• 芸術的出力の忠実度と創造性を評価するために、定量的指標と定性的な人間評価の両方を組み合わせること。

実験結果

リサーチクエスチョン

• RQ1 GANは、写真のようなリアルな画像や芸術的スタイルを含めた高精細な視覚芸術をどのように生成に適応したか？
• RQ2 GANにおけるアーキテクチャの革新は、構造的かつ多様な音楽的構成の生成をどのように向上させたか？
• RQ3 GANベースのモデルは、物語生成やキャプション作成を含め、一貫性があり文脈的に適切な文学的テキストをどれほど効果的に生成できるか？
• RQ4 現在のGANベースのアート生成における主な限界、特にモード崩壊、トレーニングの不安定性、および長距離の意味的一貫性の維持の難しさは何か？
• RQ5 GANによって生成される芸術的コンテンツの創造性、制御性、解釈可能性を向上させるための今後の研究方向性は何か？

主な発見

• StyleGANおよびその変種は、属性が分離された高解像度で多様かつ写真のようなリアルな人間の顔を生成するという、最先端の結果を達成した。
• 条件付きGANsおよびその変種により、テキストプロンプトを用いて生成コンテンツを正確に制御できるテキストから画像への生成分野で顕著な進歩が達成された。
• BigGANは、複数のクラスにわたる高精細な画像生成におけるGANのスケーラビリティを示し、低FIDスコアを達成した。
• 音楽生成においては、潜在空間モデリングと波形ベースのアーキテクチャを備えたGANが、一貫性がありリズム的に整った構成の生成において有望な結果を示した。
• 進展は見られたが、GANは依然としてモード崩壊、希少な概念への一般化の悪さ、およびテキスト生成における長距離の意味的一貫性の維持の難しさといった課題を抱えている。
• 定量的指標（FIDやインセプションスコア）は芸術的品質や創造性の主観的評価と相関しないことが多いため、人間評価が不可欠である。