[논문 리뷰] Fast-converging Conditional Generative Adversarial Networks for Image Synthesis

Chengcheng Li, Zi Wang외 1명|arXiv (Cornell University)|2018. 05. 05.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 빠른 수렴 조건 GAN(FC-GAN)을 제안하며, 실제 클래스와 전용 '가짜' 클래스를 구분하는 고도화된 보조 분류기를 도입하여 실제 샘플과 생성된 샘플 간의 혼동을 방지함으로써 학습을 가속화한다. 이 방법은 AC-GAN에 비해 더 빠른 수렴과 경쟁 가능한 이미지 품질을 달성하며, MNIST 및 CIFAR-10 데이터셋에서 학습이 최대 30% 더 빠르게 평형에 도달한다.

ABSTRACT

Building on top of the success of generative adversarial networks (GANs), conditional GANs attempt to better direct the data generation process by conditioning with certain additional information. Inspired by the most recent AC-GAN, in this paper we propose a fast-converging conditional GAN (FC-GAN). In addition to the real/fake classifier used in vanilla GANs, our discriminator has an advanced auxiliary classifier which distinguishes each real class from an extra `fake' class. The `fake' class avoids mixing generated data with real data, which can potentially confuse the classification of real data as AC-GAN does, and makes the advanced auxiliary classifier behave as another real/fake classifier. As a result, FC-GAN can accelerate the process of differentiation of all classes, thus boost the convergence speed. Experimental results on image synthesis demonstrate our model is competitive in the quality of images generated while achieving a faster convergence rate.

연구 동기 및 목표

• 다양한 클래스 간에 실제 샘플과 생성된 샘플을 구분하는 데 어려움을 겪는 조건부 GAN의 느린 수렴 문제를 해결하기 위해.
• 실제 데이터와 생성된 데이터를 동일한 클래스에 혼합하지 않도록 판별기의 보조 분류기를 재설계하여 학습의 안정성과 속도를 향상시키기 위해.
• 판별기가 동시에 클래스별 특징과 실제/가짜 구분 능력을 학습할 수 있도록 하기 위해.
• 조건부 이미지 생성 작업에서 이미지 품질을 손상시키지 않고도 수렴 속도를 향상시키기 위해.
• 표준 벤치마크인 MNIST 및 CIFAR-10에서 정량적 및 정성적 평가를 통해 방법의 타당성을 검증하기 위해.

제안 방법

• FC-GAN의 판별기에는 실제 샘플을 진짜 클래스에 할당하고 생성된 샘플을 별도의 전용 '가짜' 클래스에 할당하는 고도화된 보조 분류기가 포함되어 있다.
• 이 설계는 AC-GAN에서와 같이 실제 데이터와 생성된 데이터를 동일한 클래스에 혼합함으로써 보조 분류기가 혼동되는 것을 방지하여 클래스 분류 성능을 향상시킨다.
• '가짜' 클래스는 보조 분류기가 주 판별기의 목적을 강화하는 보조적인 실제/가짜 판별기로 기능할 수 있도록 한다.
• 전반적인 손실은 표준 GAN 손실(소스 손실)과 N+1개 클래스(실제 N개 클래스 + 1개의 가짜 클래스)에 대한 분류 손실을 조합한 것이다.
• 생성기는 잠재 노이즈와 클래스 레이블 양쪽에 조건을 걸어 클래스 제어 이미지 생성을 보장한다.
• 아키텍처는 표본 1에서 상세히 설명된 바와 같이 배치 정규화와 ReLU 활성화 함수를 사용하는 컨볼루션 및 디컨볼루션 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 보조 분류기에 전용 '가짜' 클래스를 도입하면 조건부 GAN의 수렴 속도 향상에 기여하는가?
• RQ2 분류기 헤드에서 실제 데이터와 생성된 데이터를 분리하면 혼동이 줄어들고 학습 안정성이 향상되는가?
• RQ3 보조 분류기가 동시에 실제/가짜 판별기로 기능함으로써 전체 GAN 학습 역학을 향상시킬 수 있는가?
• RQ4 표준 벤치마크에서 FC-GAN은 AC-GAN에 비해 수렴 속도와 이미지 품질 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 학습 속도 향상과 함께 이미지의 정밀도와 다양성 유지를 또는 향상시키는가?

주요 결과

• MNIST에서 FC-GAN은 약 13 에포크 만에 수렴을 달성한 반면, AC-GAN은 20 에포크가 소요되어 학습 속도 향상이 뚜렷하다.
• CIFAR-10에서 FC-GAN은 20 에포크 만에 AC-GAN과 유사한 성능을 달성하지만, AC-GAN은 결과를 따라잡기 위해 50개 이상의 에포크가 필요하다.
• CIFAR-10에서 파르젠 창 추정치는 AC-GAN의 581.8 ± 5.4에서 FC-GAN의 646.9 ± 5.3으로 향상되어 밀도 추정 성능 향상을 나타낸다.
• CIFAR-10에서 인ception 스코어는 AC-GAN의 4.190 ± 0.08에서 FC-GAN의 6.360 ± 0.14로 상승하여 이미지 품질과 다양성 향상을 보여준다.
• MNIST에서 FC-GAN은 AC-GAN의 2.216 ± 0.04보다 略적으로 높은 인ception 스코어(2.238 ± 0.03)를 기록했으며, 파르젠 창 추정치 향상은 미미했다.
• 시각적 샘플을 통해 FC-GAN은 단지 10 에포크 만에 더 선명하고 다양한 숫자를 생성하는 반면, AC-GAN은 유사한 품질에 도달하기 위해 20개 이상의 에포크가 필요하다.