[논문 리뷰] How Generative Adversarial Networks and its variants Work: An Overview of GAN

Yongjun Hong, Uiwon Hwang외 2명|arXiv (Cornell University)|2017. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 22

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)와 그 변종에 대한 종합적인 개요를 제공하며, 아키텍처, 학습 동역학, 목적 함수를 설명한다. GANs가 강력한 분포 가정 없이도 복잡한 데이터 분포를 학습하는 방식과 잠재 공간에서의 제어 가능한 생성을 가능하게 하는 오토에코더와의 통합을 탐구하며, 이미지 합성, 편집, 번역 등의 응용 분야를 뒷받침한다.

ABSTRACT

Generative adversarial networks (GANs) have received wide attention in the machine learning field because of their potential to learn high-dimensional, complex real data. Specifically, they do not perform distribution assumptions and can simply infer real-like samples from latent space. This powerful property leads GANs to be applied to various applications such as image synthesis, image attribute editing, image translation, domain adaptation and other academic fields. In this review, we aim to discuss details of GANs for those readers who are familiar but do not comprehend GANs deeply, or who wish to evaluate GANs from various perspectives. We discuss how a GAN operates and the fundamental meaning of various objective functions suggested recently. We then focus on how the GAN can be combined with an auto-encoder framework which makes it possible handle the latent space. As an extension, we also discuss GAN variants that are applied to various tasks and other fields.

연구 동기 및 목표

• 기본적인 이해는 있지만 깊이 있는 이해가 부족한 독자들이 GANs의 기본 메커니즘을 명확히 이해할 수 있도록 하는 것.
• GAN 학습에 사용된 다양한 목적 함수의 설계 및 의의를 분석하는 것.
• 잠재 공간 표현에 대한 제어를 향상시키기 위해 GANs를 오토에코더 프레임워크와 통합하는 것에 대한 연구.
• 다양한 학술적 및 실용적 영역에서의 GAN 변종과 그 응용을 조사하는 것.
• 새로운 맥락에서 평가하거나 적용하고자 하는 연구자들을 위해 GANs에 대한 통합적인 시각을 제공하는 것.

제안 방법

• 생성자와 판별기가 최소최대 게임 방식으로 적대적으로 학습되어 현실적인 샘플을 생성하는 적대적 학습 프레임워크를 설명한다.
• 원래 GAN 손실, WGAN, 그리고 학습 안정성과 샘플 품질 향상에 기여하는 GAN 변종을 포함한 핵심 목적 함수를 분석한다.
• GANs와 오토에코더의 통합을 검토하여 학습된 잠재 코드를 통해 분리된(디센틀드) 및 제어 가능한 생성을 가능하게 한다.
• 조건부 GAN, 사이클-GAN, 스타GAN과 같은 GAN 변종의 아키텍처 수정 사항을 논의하여 이미지 번역 및 속성 편집 등의 작업에 활용한다.
• 학습 수렴성과 성능 향상에 기여하는 기울기 페널티와 스펙트럴 정규화와 같은 학습 기법을 검토한다.
• 잠재 공간의 분리성 향상이 생성 품질과 해석 가능성에 어떻게 기여하는지에 대한 이론적 및 실증적 통찰을 포함한다.

실험 결과

연구 질문

• RQ1 GANs가 강력한 분포 가정 없이도 고차원의 복잡한 데이터 분포를 어떻게 학습하는가?
• RQ2 다양한 목적 함수가 GAN 학습과 샘플 품질에 미치는 역할과 영향은 무엇인가?
• RQ3 GANs를 오토에코더 아키텍처와 효과적으로 통합하여 잠재 표현의 의미 있는 조작을 어떻게 가능하게 할 수 있는가?
• RQ4 이미지 번역 및 도메인 적응과 같은 응용을 가능하게 하는 GAN 변종의 핵심 아키텍처 및 학습 혁신은 무엇인가?
• RQ5 다양한 목적 함수와 학습 전략에서 GANs의 성능 및 안정성은 어떻게 비교되는가?

주요 결과

• GANs는 잠재 공간의 랜덤 노이즈에서 명시적인 분포 가정 없이도 고해상도의 현실적인 샘플을 생성할 수 있다.
• 와서르슈타인 GAN 손실과 같은 대체 목적 함수의 도입은 학습 안정성과 샘플 품질을 크게 향상시킨다.
• GANs를 오토에코더와 결합하면 분리된 해석 가능한 생성이 가능해져 생성된 이미지의 속성에 정밀하게 제어할 수 있다.
• 조건부 GAN과 사이클-GAN과 같은 GAN 변종은 높은 정밀도로 이미지 간 번역 및 속성 편집을 성공적으로 구현한다.
• 기울기 페널티와 스펙트럴 정규화와 같은 기법은 GAN 학습을 안정화시키고 모드 붕괴를 방지하는 데 핵심적이다.
• GANs를 오토에코더와 통합하면 더 구조적이고 제어 가능한 생성이 가능해져 도메인 적응 및 데이터 증강과 같은 응용 분야에서의 유용성이 향상된다.