[논문 리뷰] Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 11. 25.

Anomaly Detection Techniques and Applications인용 수 11

한 줄 요약

이 튜토리얼 및 서베이 논문은 생성적 적대적 네트워크(GANs)와 적대적 오토에코더에 대한 종합적인 개요를 제공하며, 기초 개념, 고급 변종 및 그 응용을 포함한다. 생성자와 판별자 네트워크가 적대적 훈련을 통해 상호 경쟁함으로써 샘플 품질을 향상시키는 방식을 설명하며, 모드 붕괴를 해결하고 훈련 안정성을 향상시키며, 오토에코더 기반 아키텍처인 AAE, PixelGAN, IAE를 통해 이미지 간 번역, 텍스트 기반 이미지 생성, 차원 축소 등의 응용을 가능하게 하는 방법을 상세히 기술한다.

ABSTRACT

This is a tutorial and survey paper on Generative Adversarial Network (GAN), adversarial autoencoders, and their variants. We start with explaining adversarial learning and the vanilla GAN. Then, we explain the conditional GAN and DCGAN. The mode collapse problem is introduced and various methods, including minibatch GAN, unrolled GAN, BourGAN, mixture GAN, D2GAN, and Wasserstein GAN, are introduced for resolving this problem. Then, maximum likelihood estimation in GAN are explained along with f-GAN, adversarial variational Bayes, and Bayesian GAN. Then, we cover feature matching in GAN, InfoGAN, GRAN, LSGAN, energy-based GAN, CatGAN, MMD GAN, LapGAN, progressive GAN, triple GAN, LAG, GMAN, AdaGAN, CoGAN, inverse GAN, BiGAN, ALI, SAGAN, Few-shot GAN, SinGAN, and interpolation and evaluation of GAN. Then, we introduce some applications of GAN such as image-to-image translation (including PatchGAN, CycleGAN, DeepFaceDrawing, simulated GAN, interactive GAN), text-to-image translation (including StackGAN), and mixing image characteristics (including FineGAN and MixNMatch). Finally, we explain the autoencoders based on adversarial learning including adversarial autoencoder, PixelGAN, and implicit autoencoder.

연구 동기 및 목표

• 연구자 및 실무자들을 대상으로 생성적 적대적 네트워크(GANs)와 적대적 오토에코더에 대한 통합된 튜토리얼 및 서베이를 제공하기 위해.
• 와서르슈타인 GAN, DCGAN, 프로그레시브 GAN과 같은 고급 변종를 통해 GAN 훈련의 주요 과제인 모드 붕괴를 해결하기 위해.
• 표현 학습 및 차원 축소를 위해 오토에코더에 적대적 학습을 통합하는 방법을 설명하기 위해.
• CycleGAN, StackGAN, FineGAN과 같은 모델을 사용하여 이미지 간 번역, 텍스트 기반 이미지 합성, 특징 혼합에 대한 응용을 서베이하기 위해.
• 생성용 적대적 학습과 공격용 적대적 공격 간의 차이를 명확히 하여 문헌 내에서 혼동을 방지하기 위해.

제안 방법

• 생성자 네트워크가 가짜 데이터를 생성하고, 판별자 네트워크가 진짜와 가짜 샘플을 구분하도록 하는 경쟁적 생성 프레임워크를 사용하며, 최소화 최대 손실(minimax loss)을 통해 최적화한다.
• 아키텍처 제약 조건과 조건부 입력을 통해 훈련 안정성과 샘플 품질을 향상시키기 위해 조건부 GAN과 DCGAN을 도입한다.
• 생성자에 의한 잠재 공간 분포 정규화를 위해 오토에코더의 잠재 공간에 GAN 스타일의 판별자를 사용하여 생성된 잠재 코드가 사전 분포(예: 정규분포)를 따르도록 한다.
• f-GAN, 적대적 변동 베이즈, 베이지안 GAN을 활용하여 잠재 공간 내에서 가능도 추정 및 불확실성 모델링을 향상시킨다.
• 특징 매칭, 에너지 기반 GAN, MMD GAN을 적용하여 훈련 안정성 향상과 모드 커버리지 개선을 도모한다.
• 오토에코더에서 다단계 훈련을 수행함: 재구성 단계(재구성 손실), 그리고 두 개의 적대적 단계(잠재 사전 분포 일치 및 재구성된 데이터 분포 일치).

실험 결과

연구 질문

• RQ1 적대적 훈련을 어떻게 활용하여 GAN에서 생성 샘플의 품질과 다양성을 향상시킬 수 있는가?
• RQ2 모드 붕괴 문제를 해결하기 위해 필요한 주요 아키텍처 및 훈련 수정 방법은 무엇인가?
• RQ3 어떻게 적대적 학습을 오토에코더에 통합하여 표현 학습 및 차원 축소를 향상시킬 수 있는가?
• RQ4 생성용 적대적 학습과 공격용 적대적 공격 간의 이론적 및 실용적 차이는 무엇인가?
• RQ5 SAGAN, CycleGAN, SinGAN과 같은 변종이 이미지 간 번역 및 소수 샘플 생성에서 GAN의 능력을 어떻게 확장하는가?

주요 결과

• 와서르슈타인 GAN과 D2GAN은 지구 이동 거리(Earth Mover’s distance)와 동적 판별자 업데이트를 통해 훈련 안정성과 모드 커버리지가 크게 향상된다.
• 적대적 오토에코더(AAE)는 적대적 손실을 통해 생성된 잠재 코드가 사전 분포를 따르도록 훈련함으로써 효과적인 차원 축소를 달성한다.
• PixelGAN은 잠재 코드에서 유도된 적응형 바이어스를 사용하는 PixelCNN 디코더를 활용하여 고해상도 이미지 생성을 구현하며, 동시에 잠재 공간을 적대적 훈련으로 정규화한다.
• 암묵적 오토에코더(IAE)는 두 개의 별도 GAN을 사용하여 동시에 잠재 사전 분포 일치 및 재구성된 데이터 분포 일치를 강제함으로써 표현 학습을 향상시킨다.
• CycleGAN과 StackGAN과 같은 모델은 분리된 표현과 사이클 일관성 있는 매핑을 학습함으로써 고품질의 이미지 간 번역 및 텍스트 기반 이미지 합성을 가능하게 한다.
• 프로그레시브 GAN과 SAGAN은 점진적으로 모델 용량을 증가시키고 자기 주도 주의 메커니즘을 사용함으로써 고해상도 이미지 생성에서 최신 기술 성능을 달성한다.