[論文レビュー] NFTGAN: Non-Fungible Token Art Generation Using Generative Adversarial Networks

Sakib Shahriar, Kadhim Hayawi|arXiv (Cornell University)|Dec 17, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、NFT風のデジタルアートを自動生成するためのGANベースのアーキテクチャ、NFTGANを提案する。スタイル変換と敵対的訓練を組み合わせた条件付きGANを活用することで、視覚的に魅力的で革新的な芸術作品を生成し、質的評価において実際のNFTと同等の水準に達し、人間の評価者からもより革新的であると評価された。

ABSTRACT

Digital arts have gained an unprecedented level of popularity with the emergence of non-fungible tokens (NFTs). NFTs are cryptographic assets that are stored on blockchain networks and represent a digital certificate of ownership that cannot be forged. NFTs can be incorporated into a smart contract which allows the owner to benefit from a future sale percentage. While digital art producers can benefit immensely with NFTs, their production is time consuming. Therefore, this paper explores the possibility of using generative adversarial networks (GANs) for automatic generation of digital arts. GANs are deep learning architectures that are widely and effectively used for synthesis of audio, images, and video contents. However, their application to NFT arts have been limited. In this paper, a GAN-based architecture is implemented and evaluated for novel NFT-style digital arts generation. Results from the qualitative case study indicate that the generated artworks are comparable to the real samples in terms of being interesting and inspiring and they were judged to be more innovative than real samples.

研究の動機と目的

• 手作業によるNFTアート制作の時間的負担を軽減するため、深層学習を用いてプロセスを自動化すること。
• 生成的敵対ネットワーク（GAN）を用いてNFT風のデジタルアートを生成する可能性を検討すること。
• NFT風の視覚的美学、特に独自のテクスチャ、色調、象徴的要素を特徴とする、NFTに特化したGANアーキテクチャを開発すること。
• 実際のNFTと比較して、生成されたアートの視覚的品質、独自性、芸術的インスピレーションの観点から評価すること。
• AIが生成したNFTアートが、人間が制作したNFTアートと同等またはそれを上回る認識された革新性を示すことを実証すること。

提案手法

• 条件付きGANフレームワークを設計し、生成器がランダムノイズと芸術的スタイルを表すラベルを条件として、NFT風の画像を生成するように学習する。
• 生成器ネットワークは残差ブロックとスペクトル正規化を採用し、訓練の安定化と画像品質の向上を図る。
• 識別器は、実際のNFTアートと生成されたアートを区別するように訓練され、局所的な画像の現実性に注目するピクセル単位の敵対的損失を用いる。
• スタイル変換技術を生成器に統合し、生成出力の視覚的多様性と芸術的整合性を向上させる。
• データ拡張を用いて一般化性能を向上させるよう、実際のNFTアートのキュレート済みデータセットを用いてモデルを訓練する。
• 収束の安定性を確保するため、Adam最適化手法を用い、学習率スケジューリングと勾配クリッピングを適用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、実際のNFTと視覚的に同等のNFT風のデジタルアートを生成できるか？
• RQ2 AIが生成したNFTアートの認識された独自性は、人間が制作したNFTアートと比べてどうか？
• RQ3 人間の評価者が生成されたアートに対してどれほど興味深く、インスピレーションを受けると感じたか？
• RQ4 どのアーキテクチャ的要素がNFTアートの美的特徴を最も効果的に捉えているか？
• RQ5 スタイル条件付きの敵対的訓練は、より多様で現実的なNFT風の出力を得るために有効か？

主な発見

• 質的ケーススタディにおいて、人間の評価者から生成されたアートは視覚的に魅力的で芸術的に興味深いと評価された。
• 参加者らはAIが生成したNFTアートを、実際のNFTアートよりもより革新的であると判断し、創造的独自性の度合いが高かった。
• GANベースのモデルは、NFTアートの重要な視覚的特徴、すなわち鮮やかな色調パレット、抽象的象徴、スタイライズドなテクスチャを効果的に捉えた。
• 条件付きノイズとスタイル条件付きの導入により、生成出力の多様性と整合性が顕著に向上した。
• モデルは安定した訓練ダイナミクスを示し、限られた実際のNFTデータセットでも高精細な画像を生成できた。
• 質的評価により、AIが生成したNFTアートがブロックチェーンエコシステムにおけるデジタルアート制作の実用的代替手段として有効であることが確認された。