[논문 리뷰] Ten Years of Generative Adversarial Nets (GANs): A survey of the state-of-the-art

Tanujit Chakraborty, Ujjwal Reddy K S외 3명|arXiv (Cornell University)|2023. 08. 30.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

GAN의 2014년 시작부터 현재까지의 포괄적 고찰로, 아키텍처, 이론, 평가, 학습의 도전과제, 다양한 도메인에 걸친 응용 및 신흥 DL 모델과의 하이브리드화를 다룬다.

ABSTRACT

Since their inception in 2014, Generative Adversarial Networks (GANs) have rapidly emerged as powerful tools for generating realistic and diverse data across various domains, including computer vision and other applied areas. Consisting of a discriminative network and a generative network engaged in a Minimax game, GANs have revolutionized the field of generative modeling. In February 2018, GAN secured the leading spot on the ``Top Ten Global Breakthrough Technologies List'' issued by the Massachusetts Science and Technology Review. Over the years, numerous advancements have been proposed, leading to a rich array of GAN variants, such as conditional GAN, Wasserstein GAN, CycleGAN, and StyleGAN, among many others. This survey aims to provide a general overview of GANs, summarizing the latent architecture, validation metrics, and application areas of the most widely recognized variants. We also delve into recent theoretical developments, exploring the profound connection between the adversarial principle underlying GAN and Jensen-Shannon divergence, while discussing the optimality characteristics of the GAN framework. The efficiency of GAN variants and their model architectures will be evaluated along with training obstacles as well as training solutions. In addition, a detailed discussion will be provided, examining the integration of GANs with newly developed deep learning frameworks such as Transformers, Physics-Informed Neural Networks, Large Language models, and Diffusion models. Finally, we reveal several issues as well as future research outlines in this field.

연구 동기 및 목표

• 지난 10년간 GAN 아키텍처와 그 발전에 대한 폭넓은 개요를 제공한다.
• 적대적 학습을 발산도(divergence) 지표 및 최적성과 연결하는 주요 이론적 발전을 요약한다.
• 평가 지표와 실용적 학습 도전과제를 검토하며, 안정성 및 모드 붕괴를 포함한다.
• 비전, 자연어처리, 시계열, 의학, 도시계획, 지구과학 등 다양한 도메인에서의 응용과 새로운 프레임워크와의 실용적 통합을 논의한다.
• 미래 연구 방향과 트랜스포머(Transformers), PINNs, LLMs, 및 확산 모델과의 잠재적 하이브리드화를 개요한다.

제안 방법

• 기초 GAN 연구와 그 변형들(조건부 GAN, Wasserstein GAN, CycleGAN, StyleGAN 등)에 대한 체계적 문헌고찰.
• 10년 간의 아키텍처 및 방법론적 진전을 시각화하기 위한 연대기적 구성.
• 적대적 목적과 Jensen-Shannon 발산 및 관련 최적성 고려사항에 대한 이론적 논의.
• 도메인별 성능 고려사항을 포함한 평가 및 한계 평가.
• 학습 도전과제와 제시된 해결책에 대한 논의, 안정성 개선 및 대체 손실 함수 포함.
• 새로운 DL 패러다임(트랜스포머, PINNs, LLMs, 확산 모델)과의 통합 분석 및 GAN 효과에 미치는 영향.

Figure 1: Architecture of GANs and its primary functions. In this example, different analytical tasks of GANs are categorized into synthetic data generation, style transfer, data augmentation, and anomaly detection.

실험 결과

연구 질문

• RQ1 지난 10년간 개발된 주요 GAN 변형은 무엇이며 어떤 문제를 다루고 있는가?
• RQ2 발산도 지표 및 최적성과의 연결을 포함한 GAN의 핵심 이론적 통찰은 무엇인가?
• RQ3 도메인 전반에서 GAN 생성 데이터를 평가하는 지표와 평가 전략은 무엇인가?
• RQ4 GAN 성능을 제한하는 학습 도전과제와 제안된 해결책은 무엇인가?
• RQ5 새로운 응용 분야에서 합성 데이터 생성을 향상시키기 위해 GAN을 새로운 딥러닝 프레임워크와 어떻게 통합할 수 있는가?

주요 결과

• GAN은 품질, 다양성 및 조건화 요구를 해결하기 위해 일반적인 아키텍처에서 특수 변형(예: 조건부, Wasserstein, CycleGAN, StyleGAN)으로 발전해 왔다.
• 학습 불안정성과 모드 붕괴는 여전히 주요 도전과제로 남아 있으며, 안정성을 개선하기 위한 손실 함수 및 아키텍처 변화가 제안되었다.
• 생성 데이터의 편향성과 윤리적 우려는 신중한 평가와 완화가 필요한 인식된 이슈다.
• 트랜스포머, PINNs, LLMs, 확산 모델과의 하이브리드 접근은 GAN의 능력과 응용 범위를 확장하는 데 가능성을 보인다.
• GAN은 컴퓨터 비전, NLP, 시계열, 의학, 지구과학, 도시계획 등 다양한 도메인에서 생성, 증강, 스타일 전송 및 시뮬레이션 등을 위해 적용된다.

Figure 2: Timeline of the application-based GAN architectures reviewed in this study