[논문 리뷰] A Survey on Generative Adversarial Networks: Variants, Applications, and Training

Abdul Jabbar, Xi Li외 1명|arXiv (Cornell University)|2020. 06. 09.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 종합적 서베이는 생성적 적대적 네트워크(GANs)의 변종, 컴퓨터 비전 및 기계 학습 분야에서의 응용, 그리고 모드 붕괴와 소실 기울기와 같은 훈련 과제를 포함하여 포괄적인 개요를 제공한다. 이 서베이는 안정화 기법을 분석하고 열려 있는 연구 과제를 규명하여 GAN 개발 및 구현을 둘러싼 연구자들에게 체계적인 참고 자료를 제공한다.

ABSTRACT

The Generative Models have gained considerable attention in the field of unsupervised learning via a new and practical framework called Generative Adversarial Networks (GAN) due to its outstanding data generation capability. Many models of GAN have proposed, and several practical applications emerged in various domains of computer vision and machine learning. Despite GAN's excellent success, there are still obstacles to stable training. The problems are due to Nash-equilibrium, internal covariate shift, mode collapse, vanishing gradient, and lack of proper evaluation metrics. Therefore, stable training is a crucial issue in different applications for the success of GAN. Herein, we survey several training solutions proposed by different researchers to stabilize GAN training. We survey, (I) the original GAN model and its modified classical versions, (II) detail analysis of various GAN applications in different domains, (III) detail study about the various GAN training obstacles as well as training solutions. Finally, we discuss several new issues as well as research outlines to the topic.

연구 동기 및 목표

• 원래 GAN 모델에서 시작하여 생성적 적대적 네트워크(GANs)의 진화와 변종을 체계적으로 검토하기 위해.
• 컴퓨터 비전, 영상 처리, 기계 학습 분야에서 GAN의 다양한 응용을 분석하기 위해.
• 모드 붕괴, 기울기 소실, 나시 균형의 불안정성과 같은 주요 훈련 장애를 식별하고 분류하기 위해.
• GAN 훈련을 안정화하기 위한 제안된 훈련 솔루션을 평가하고 요약하기 위해.
• GAN 연구 분야에서의 새로운 연구 과제와 향후 방향성 강조하기 위해.

제안 방법

• 원래 GAN 아키텍처와 DCGAN, CycleGAN, StyleGAN과 같은 고전적 변종을 조사하여 아키텍처 및 훈련 혁신을 분석하기 위해.
• GAN 응용을 이미지 생성, 이미지 간 번역, 텍스트 기반 이미지 합성, 데이터 증강 등의 카테고리로 분류하기 위해.
• 문제의 계층 구조를 통해 훈련 불안정성 문제를 분석: 모드 붕괴, 기울기 소실, 내부 공분산 변화, 평가 지표 부족.
• 훈련 수렴을 향상시키기 위해 스펙트럴 정규화, 기울기 페널티, 개선된 손실 함수와 같은 안정화 기법을 검토하기 위해.
• 최근 문헌의 통찰을 통합하여 GAN 훈련 실패의 반복 패턴과 그 완화 전략을 식별하기 위해.
• 평가 지표 및 GAN의 일반화와 같은 열려 있는 과제에 대한 체계적인 논의를 제공하여 향후 연구를 안내하기 위해.

실험 결과

연구 질문

• RQ1 원래 GAN 모델 이후 GAN 변종에서의 주요 아키텍처 및 훈련 발전은 무엇인가요?
• RQ2 GAN은 컴퓨터 비전 및 기계 학습 분야의 다양한 도메인에서 어떻게 응용되었나요?
• RQ3 GAN 훈련의 불안정성의 주요 원인은 무엇이며, 모델 성능에 어떤 영향을 미치나요?
• RQ4 GAN 훈련을 안정화하기 위해 제안된 훈련 기법은 무엇이며, 그 효과는 어떠한가요?
• RQ5 GAN 개발에서 해결되지 않은 과제와 향후 연구 방향은 무엇인가요?

주요 결과

• 원래 GAN 모델은 생성자와 판별자 간의 최소-최대 게임을 도입하여 고해상도 데이터 생성을 가능하게 했지만, 훈련 불안정성 문제를 야기했다.
• DCGAN과 StyleGAN과 같은 변종은 전치 컨볼루션과 스타일 기반 조절과 같은 아키텍처 혁신을 통해 훈련 안정성과 이미지 품질을 크게 향상시켰다.
• GAN의 응용은 이미지 합성, 초해상도, 얼굴 편집, 데이터 증강을 포함하여 다양한 컴퓨터 비전 작업에서 뛰어난 성능을 보였다.
• 모드 붕괴와 기울기 소실은 여전히 뿌리내린 과제로, 일반적으로 다양성 부족과 수렴 실패로 이어진다.
• 기울기 페널티와 스펙트럴 정규화와 같은 기법은 판별자의 리프시츠 제약 조건을 강제하여 훈련 안정화에 효과적임이 입증되었다.
• 진전이 있었음에도 불구하고, 신뢰할 수 있는 평가 지표의 부족은 GAN 모델 간 객관적 비교 및 벤치마킹을 방해하고 있다.