[논문 리뷰] NFTGAN: Non-Fungible Token Art Generation Using Generative Adversarial Networks

Sakib Shahriar, Kadhim Hayawi|arXiv (Cornell University)|2021. 12. 17.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 NFT 스타일의 디지털 아트를 자동으로 생성하기 위한 GAN 기반 아키텍처인 NFTGAN을 제안한다. 조건부 GAN과 스타일 전이, 적대적 훈련을 활용하여 시각적으로 매력적이고 혁신적인 예술작품을 생성하며, 질적 평가에서 실제 NFT와 유사한 수준이며 인간 평가자들에 의해 더 혁신적인 것으로 평가된다.

ABSTRACT

Digital arts have gained an unprecedented level of popularity with the emergence of non-fungible tokens (NFTs). NFTs are cryptographic assets that are stored on blockchain networks and represent a digital certificate of ownership that cannot be forged. NFTs can be incorporated into a smart contract which allows the owner to benefit from a future sale percentage. While digital art producers can benefit immensely with NFTs, their production is time consuming. Therefore, this paper explores the possibility of using generative adversarial networks (GANs) for automatic generation of digital arts. GANs are deep learning architectures that are widely and effectively used for synthesis of audio, images, and video contents. However, their application to NFT arts have been limited. In this paper, a GAN-based architecture is implemented and evaluated for novel NFT-style digital arts generation. Results from the qualitative case study indicate that the generated artworks are comparable to the real samples in terms of being interesting and inspiring and they were judged to be more innovative than real samples.

연구 동기 및 목표

• 딥 러닝을 활용하여 수작업으로 생성하는 데 시간이 오래 걸리는 NFT 아트 제작 과정을 자동화하는 것.
• 생성 적대적 네트워크(GANs)를 활용해 NFT 스타일의 디지털 아트를 생성할 수 있는지 탐색하는 것.
• 특히 고유한 질감, 색상, 상징적 요소를 포함한 NFT 유사 시각적 미학에 특화된 GAN 아키텍처를 개발하는 것.
• 실제 NFT와 비교하여 생성된 예술작품의 시각적 품질, 독창성, 예술적 영감을 평가하는 것.
• 인공지능이 생성한 NFT 아트가 인간이 만든 NFT 아트에 비해 인식된 혁신성에서 뒤지지 않거나 이를 초월할 수 있음을 입증하는 것.

제안 방법

• 조건부 GAN 프레임워크를 설계하여, 생성자는 무작위 노이즈와 예술 스타일을 나타내는 클래스 레이블에 조건부로 NFT 스타일의 이미지를 생성하도록 학습한다.
• 생성자 네트워크는 잔차 블록과 스펙트럴 정규화를 활용하여 훈련 안정성과 이미지 품질을 향상시킨다.
• 판별자는 실제 NFT 예술작품과 생성된 예술작품을 구분하도록 훈련되며, 국소적 이미지의 현실성에 집중하기 위해 패치 기반 적대적 손실을 사용한다.
• 스타일 전이 기법을 생성자에 통합하여 생성 출력의 시각적 다양성과 예술적 일관성을 향상시킨다.
• 일반화 성능 향상을 위해 데이터 증강을 적용한 실제 NFT 예술작품의 커리레이티드 데이터셋을 사용하여 모델을 훈련시킨다.
• 학습은 Adam 옵timizer를 사용하며, 학습률 스케줄링과 기울기 클리핑을 통해 수렴 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실제 NFT와 시각적으로 유사한 NFT 스타일의 디지털 아트를 생성할 수 있는가?
• RQ2 인공지능이 생성한 NFT 아트의 인식된 독창성은 인간이 만든 NFT 아트와 비교해 어떻게 다른가?
• RQ3 인간 평가자들이 생성된 예술작품을 얼마나 흥미롭고 영감을 주는 것으로 느끼는가?
• RQ4 어떤 아키텍처 구성 요소가 NFT 아트의 미학적 특징을 가장 효과적으로 포착하는가?
• RQ5 스타일 조건부와 함께 적대적 훈련을 수행하면 더 다양한 고해상도의 NFT 유사 출력을 얻을 수 있는가?

주요 결과

• 질적 사례 연구에서 인간 평가자들이 생성된 예술작품을 시각적으로 매력적이고 예술적으로 흥미로운 것으로 평가했다.
• 참가자들은 인공지능이 생성한 NFT 아트를 실제 NFT 예술작품보다 더 혁신적인 것으로 판단하여 창의적 신선함의 수준이 더 높다는 것을 시사했다.
• GAN 기반 모델은 생동감 있는 색조 팔레트, 추상적 상징성, 스타일링된 질감과 같은 NFT 아트의 핵심 시각적 특징을 성공적으로 포착했다.
• 조건부 노이즈와 스타일 조건부 적용이 생성 출력의 다양성과 일관성 향상에 크게 기여했다.
• 모델는 제한된 실제 NFT 데이터셋 조건에서도 안정적인 훈련 동역학을 보이며 고해상도 이미지를 생성했다.
• 질적 평가 결과, 인공지능이 생성한 NFT 아트가 블록체인 생태계 내 디지털 아트 제작을 위한 실질적인 대안이 될 수 있음을 확인했다.