[논문 리뷰] A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications

Jie Gui, Zhenan Sun외 3명|arXiv (Cornell University)|2020. 01. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 392인용 수 260

한 줄 요약

GAN에 대한 포괄적 고찰로 알고리즘, 이론, 변형 및 응용을 상세히 다루는 포괄적 조사로, 모델 간의 연계와 공개 연구 방향을 제시합니다.

ABSTRACT

Generative adversarial networks (GANs) are a hot research topic recently. GANs have been widely studied since 2014, and a large number of algorithms have been proposed. However, there is few comprehensive study explaining the connections among different GANs variants, and how they have evolved. In this paper, we attempt to provide a review on various GANs methods from the perspectives of algorithms, theory, and applications. Firstly, the motivations, mathematical representations, and structure of most GANs algorithms are introduced in details. Furthermore, GANs have been combined with other machine learning algorithms for specific applications, such as semi-supervised learning, transfer learning, and reinforcement learning. This paper compares the commonalities and differences of these GANs methods. Secondly, theoretical issues related to GANs are investigated. Thirdly, typical applications of GANs in image processing and computer vision, natural language processing, music, speech and audio, medical field, and data science are illustrated. Finally, the future open research problems for GANs are pointed out.

연구 동기 및 목표

• GAN의 동기와 구조를 설명하고 이를 생성 모형화의 맥락에 배치한다.
• 최적화 목적 함수의 핵심과 학습 역학을 요약하며, minimax, non-saturating, 그리고 maximum likelihood 관점을 포함한다.
• 대표적인 GAN 변형과 학습 전략을 분류하고 연관시키다.
• GAN 목표와 발산(KL, JS, f-divergences, IPMs) 간의 이론적 이슈와 그 함의를 고찰한다.
• 이미지 처리, NLP, 음악, 의학, 데이터 과학 전반에 걸친 일반적인 응용을 제시하고 남은 문제를 개략한다.

제안 방법

• 원래의 GAN 프레임워크와 그 minimax 목표를 설명한다.
• 대체 목표 함수와 그 이론적 함의를 논의한다(예: JS/KL 발산, IPMs).
• 대표적 GAN 변형들(InfoGAN, cGAN, CycleGAN, f-GAN, WGAN, LS-GAN 등)과 그 학습 기법을 제시한다.
• 조건화, 보조 작업, 그리고 다중-GAN/식별자 아키텍처를 확장으로 설명한다.
• 평가, 시각화 도구, 그리고 더 넓은 학습 프레임워크와의 연계를 검토한다.

실험 결과

연구 질문

• RQ1 주요 GAN 변형들 간의 알고리즘적 및 이론적 관점에서의 연결성과 차이점은 무엇인가?
• RQ2 다양한 발산 및 거리 척도(JS, KL, f-divergences, IPMs와 같은 WGAN)가 GAN 학습의 안정성과 품질에 어떤 영향을 미치는가?
• RQ3 다양한 영역에서의 GAN의 주요 응용은 무엇이며 남아 있는 미해결 문제는 무엇인가?
• RQ4 조건화, cycle-consistency, 보조 손실이 생성 품질과 모드 커버리지에 어떤 영향을 미치는가?

주요 결과

• GAN 학습은 판별기가 생성기를 실제 데이터 분포로 향하도록 이끄는 minimax 게임으로 볼 수 있다.
• 원래의 GAN 목표는 JS 및 KL 발산과 관련이 있으며 GANs를 확립된 통계적 거리와 연결시킨다.
• Non-saturating 및 maximum likelihood 해석은 그래디언트 동작과 학습 안정성 간의 균형을 제시한다.
• 다양한 GAN 변형들은 아키텍처와 손실 함수의 변경을 통해 학습 안정성, 모드 붕괴, 조건화 및 비쌍 데이터 문제를 다룬다.
• Wasserstein 기반 접근법(WGAN, WGAN-GP)은 향상된 학습 안정성과 의미 있는 손실 곡선을 제공한다.
• GAN은 이미지 처리, NLP, 음악, 음성, 의학, 데이터 과학 전반에 걸친 폭넓은 응용을 가지며, 고해상도, 번역, 도메인 적응 등에 특화된 파생 변형이 다수 있다.