[논문 리뷰] GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network

Sakib Shahriar|arXiv (Cornell University)|2021. 08. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 종합 검토는 생성적 적대 신경망(GAN)이 시각 예술, 음악, 문학적 텍스트 생성에 어떻게 적용되고 있는지 탐구하며, GAN 아키텍처, 성능 비교, 창의적 AI의 과제에 대한 포괄적인 검토를 제공한다. 이는 사진처럼 사실적인 이미지 합성, 조건부 생성, 텍스트 기반 이미지 모델링 분야에서의 주요 진전을 강조하면서도, 심층 생성 모델을 활용한 예술적 콘텐츠 생성에서의 한계와 향후 연구 방향을 밝힌다.

ABSTRACT

"Art is the lie that enables us to realize the truth." - Pablo Picasso. For centuries, humans have dedicated themselves to producing arts to convey their imagination. The advancement in technology and deep learning in particular, has caught the attention of many researchers trying to investigate whether art generation is possible by computers and algorithms. Using generative adversarial networks (GANs), applications such as synthesizing photorealistic human faces and creating captions automatically from images were realized. This survey takes a comprehensive look at the recent works using GANs for generating visual arts, music, and literary text. A performance comparison and description of the various GAN architecture are also presented. Finally, some of the key challenges in art generation using GANs are highlighted along with recommendations for future work.

연구 동기 및 목표

• 2015년에서 2021년 사이의 동료 심사 논문을 대상으로 GAN 기반 예술 생성에 관한 체계적 종합 검토를 수행한다.
• 시각, 청각, 텍스트 생성 분야에서 아키텍처, 손실 함수, 훈련 전략 기반으로 GAN 모델을 분류한다.
• FID, IS, 인간 평가 등의 지표를 바탕으로 StyleGAN, BigGAN, 조건부 GAN 등 GAN 변종의 성능을 비교 분석한다.
• 생성 품질 향상에 기여하는 주의 메커니즘, 자기 주의 모듈, 점진적 성장 기법을 분석한다.
• 클래스 레이블, 텍스트 임베딩 등의 조건부 입력을 활용해 콘텐츠 생성을 분리된 방식으로 유도한다.
• 예술적 출력의 정확도와 창의성 평가를 위해 정량적 지표와 정성적 인간 평가를 모두 통합한다.

제안 방법

• 2015년에서 2021년 사이의 GAN 기반 예술 생성에 관한 동료 심사 논문을 대상으로 한 체계적 문헌 검토.
• 시각, 청각, 텍스트 생성 분야에서 아키텍처, 손실 함수, 훈련 전략 기반으로 GAN 모델을 분류.
• FID, IS, 인간 평가 등의 지표를 사용해 StyleGAN, BigGAN, 조건부 GAN 등 GAN 변종의 성능을 비교.
• 생성 품질 향상에 기여하는 주의 메커니즘, 자기 주의 모듈, 점진적 성장 기법 분석.
• 클래스 레이블, 텍스트 임베딩 등의 조건부 입력을 활용해 콘텐츠 생성을 분리된 방식으로 유도.
• 예술적 출력의 정확도와 창의성 평가를 위해 정량적 지표와 정성적 인간 평가를 모두 통합.

실험 결과

연구 질문

• RQ1 GAN은 어떻게 고해상도 시각 예술, 특히 사진처럼 사실적인 이미지와 예술적 스타일을 생성하기 위해 적응되었는가?
• RQ2 GAN의 아키텍처 혁신은 어떤 방식으로 구조적이고 다양한 음악 조합의 생성을 향상시켰는가?
• RQ3 GAN 기반 모델은 스토리 생성 및 캡션 생성과 같은 맥락적으로 관련된 문학적 텍스트 생성에 얼마나 효과적인가?
• RQ4 현행 GAN 기반 예술 생성에서 주요한 한계는 무엇인가, 특히 모드 붕괴, 훈련 불안정성, 의미적 일관성 유지의 어려움을 포함하여?
• RQ5 창의성, 제어 가능성, 해석 가능성 향상을 위한 향후 연구 방향은 무엇인가?

주요 결과

• StyleGAN 및 그 변종은 분리된 속성을 가진 고해상도, 다양한, 사진처럼 사실적인 인간 얼굴 생성에서 최첨단 성능을 달성했다.
• 조건부 GAN과 그 변종은 텍스트 프롬프트를 사용해 생성 콘텐츠를 정밀하게 제어할 수 있도록 하여 텍스트 기반 이미지 생성 분야에서 중요한 진전을 이뤘다.
• BigGAN은 다양한 클래스에서 고해상도 이미지를 생성하는 데 있어 GAN의 확장성을 입증했으며, 낮은 Fréchet Inception Distance(FID) 점수를 달성했다.
• 음악 생성 분야에서는 잠재 공간 모델링과 웨이브폼 기반 아키텍처를 갖춘 GAN이 조화롭고 리듬적으로 구성된 음악을 생성하는 데 있어 잠재력을 보였다.
• 진전이 있었음에도 불구하고, GAN은 여전히 모드 붕괴, 드문 개념에 대한 일반화 부족, 장기적 의미 일관성 유지의 어려움 등의 과제를 안고 있다.
• 인간 평가는 여전히 필수적이며, FID나 Inception Score와 같은 정량적 지표는 종종 인식된 예술적 품질이나 창의성과 상관관계가 없다.