[논문 리뷰] Generative Adversarial Networks: A Survey and Taxonomy.

Zhengwei Wang, Qi She외 1명|arXiv (Cornell University)|2019. 06. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 67

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)에 대한 종합적인 서베이와 분류 체계를 제시하며, 컴퓨터 비전 분야에서 세 가지 핵심 과제인 고해상도 이미지 생성, 다양성 향상, 학습 안정성 향상에 대한 진전을 집중적으로 다룬다. 주요 GAN 아키텍처와 손실 함수를 검토하며, 핵심 적용 분야에서의 경험적 성능에 기반해 비판적 분 析와 향후 연구 방향을 제시한다.

ABSTRACT

Generative adversarial networks (GANs) have been extensively studied in the past few years. Arguably their most significant impact has been in the area of computer vision where great advances have been made in challenges such as plausible image generation, image-to-image translation, facial attribute manipulation and similar domains. Despite the significant successes achieved to date, applying GANs to real-world problems still poses significant challenges, three of which we focus on here. These are: (1) the generation of high quality images, (2) diversity of image generation, and (3) stable training. Focusing on the degree to which popular GAN technologies have made progress against these challenges, we provide a detailed review of the state of the art in GAN-related research in the published scientific literature. We further structure this review through a convenient taxonomy we have adopted based on variations in GAN architectures and loss functions. While several reviews for GANs have been presented to date, none have considered the status of this field based on their progress towards addressing practical challenges relevant to computer vision. Accordingly, we review and critically discuss the most popular architecture-variant, and loss-variant GANs, for tackling these challenges. Our objective is to provide an overview as well as a critical analysis of the status of GAN research in terms of relevant progress towards important computer vision application requirements. As we do this we also discuss the most compelling applications in computer vision in which GANs have demonstrated considerable success along with some suggestions for future research directions. Code related to GAN-variants studied in this work is summarized on this https URL.

연구 동기 및 목표

• 실제 컴퓨터 비전 응용 분야에서 고품질, 다채롭고 안정적인 GAN 출력을 생성하는 데 지속적으로 발생하는 과제를 해결하기 위해.
• 이론적 신선함만을 고려하는 것이 아니라 실용적 과제에 초점을 맞춰 최신 GAN 연구의 현황을 비판적으로 평가하기 위해.
• 기존 GAN 변종들을 체계적으로 정리하고 비교하기 위해 아키텍처 및 손실 함수의 변형을 바탕으로 체계적인 분류 체계를 제공하기 위해.
• 이미지 생성, 이미지 간 번역, 얼굴 속성 조작과 같은 핵심 컴퓨터 비전 작업에서 가장 성공적인 GAN 접근 방식을 식별하기 위해.
• 현재 실용적 구현에 이르기까지의 진전에서의 격차를 바탕으로 향후 연구 방향을 제안하기 위해.

제안 방법

• 이 논문은 특정 과제를 해결하기 위한 아키텍처와 손실 함수에 중점을 두고, GAN에 관한 출판된 과학 문헌을 체계적으로 검토한다.
• 조건부 GAN, StyleGAN, BigGAN 등과 같은 아키텍처 설계(예: 조건부 GAN, StyleGAN, BigGAN)와 적대적 손실, 인지적 손실, 사이클 일관성 등 손실 함수의 수정을 기반으로 GAN 변종들을 분류 체계에 따라 정리한다.
• 각 GAN 변종의 성능을 이미지 품질, 다양성, 학습 안정성이라는 세 가지 핵심 과제에 대해 정성적 및 정량적 기준을 사용해 평가한다.
• 모드 붕괴 완화와 정밀도 향상 간의 상충 관계를 포함한 다양한 GAN 설계 간의 상호 상충 관계에 대한 비판적 논의를 포함한다.
• 스킵 연결, 정규화 레이어, 渐진적 성장과 같은 아키텍처 혁신이 학습 동역학과 출력 품질 향상에 기여하는 방식을 평가한다.
• 재현 가능성과 향후 연구를 지원하기 위해 연구된 GAN 변종들에 대한 코드 리포지터리들을 취합하고 요약한다.

실험 결과

연구 질문

• RQ1 최근 GAN 아키텍처는 컴퓨터 비전 작업에서 생성된 이미지의 품질을 어느 정도 향상시켰는가?
• RQ2 다양한 손실 함수는 GAN 생성 출력의 다양성 향상과 모드 붕괴 방지에 어떻게 기여하는가?
• RQ3 어떤 아키텍처 및 학습 전략이 더 안정적인 GAN 학습을 이끌었으며, 이는 기준 테스트에서 어떻게 비교되는가?
• RQ4 이미지 간 번역 및 얼굴 속성 조작과 같은 응용 분야에서 가장 뛰어난 성과를 보인 GAN 변종은 무엇인가?
• RQ5 실제 컴퓨터 비전 응용 분야에서 GAN을 구현할 때의 주요 제약 조건과 열려 있는 과제는 무엇인가?

주요 결과

• 진행적 성장과 스타일 기반 정규화와 같은 아키텍처 혁신은 StyleGAN 및 BigGAN와 같은 모델에서 볼 수 있듯이 학습 안정성과 이미지 품질 향상에 크게 기여한다.
• 특히 인지적 손실과 사이클 일관성 손실의 통합을 포함한 손실 함수 수정은 생성 샘플의 다양성 향상과 모드 붕괴 감소에 기여한다.
• 조건부 GAN 및 그 변종은 얼굴 속성 편집 및 이미지 간 번역과 같은 제어된 이미지 생성 작업에서 뛰어난 성능을 보였다.
• 진전이 있었음에도 불구하고, 고해상도 이미지 생성 분야에서 학습 불안정성과 모드 붕괴는 여전히 지속적인 과제이다.
• 이 논문에서 제시된 분류 체계는 아키텍처와 손실 함수에 따라 GAN 변종들을 효과적으로 분류하여 더 명확한 비교와 유망한 연구 방향 식별을 가능하게 한다.
• 검토된 GAN 변종들에 대한 코드 리포지터리들이 취합되어 공개되어 있어 재현 가능성과 향후 기준 테스트를 지원한다.