[논문 리뷰] Continuous Conditional Generative Adversarial Networks for Image Generation: Novel Losses and Label Input Mechanisms

Xin Ding, Yongwei Wang외 3명|arXiv (Cornell University)|2020. 11. 15.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 연속적인 회귀 레이블(예: 나이 또는 조향각)에 조건부로 고품질 이미지를 생성하는 새로운 생성 모델인 연속 조건부 GAN(CcGAN)을 소개한다. 이는 연속 조건부 조건을 위해 GAN 손실을 재구성하고, 새로운 레이블 입력 기법(NLI 및 ILI)을 제안함으로써 이루어진다. CcGAN은 RC-49, Cell-200, UTKFace 등의 벤치마크에서 표준 cGAN보다 뛰어난 이미지 품질과 다양성을 달성하였으며, 훈련 안정성과 성능 향상도 확보하였다.

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Frechet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

연구 동기 및 목표

• 연속적인 스칼라 회귀 레이블에 조건부로 이미지를 생성하는 데 효과적인 GAN의 부족을 해결하기 위해.
• 문제(P1): 특정 회귀 레이블에 대해 실재 이미지가 희박하거나 0개일 경우 발생하는 경험적 cGAN 손실의 실패를 해결하기 위해.
• 문제(P2): 무한한 연속 스칼라 레이블에 대해 기존 레이블 입력 방법이 적용되지 않는 문제를 해결하기 위해.
• 연속 조건부 설정에서 안정적이고 고품질의 이미지 생성을 가능하게 하는 새로운 훈련 프레임워크를 제안하기 위해.

제안 방법

• 연속 조건부 조건을 위해 경험적 cGAN 손실을 재구성하여, 두 가지 새로운 판별자 손실인 하드 비실성 판별자 손실(HVDL)과 소프트 비실성 판별자 손실(SVDL)을 도입한다.
• 연속 조건부 생성을 위해 특화된 경험적 생성자 손실을 제안한다.
• 생성자 및 판별자 네트워크에 레이블을 통합하기 위해 나이브 레이블 입력(NLI) 및 향상된 레이블 입력(ILI) 방법을 도입한다.
• 약한 가정 하에 HVDL 및 SVDL로 훈련된 판별자에 대한 이론적 오차 경계를 유도한다.
• 두 가지 새로운 벤치마크 데이터셋을 설계: RC-49(회귀 조건부) 및 Cell-200(연속 레이블이 있는 세포 이미지 생성).
• 연속 조건부 이미지 생성을 위한 새로운 평가 지표인 슬라이딩 프리에드리히 인ception 거리(SFID)를 제안한다.

실험 결과

연구 질문

• RQ1 연결된 카테고리 레이블이 아닌 연속적인 회귀 레이블에 조건부로 효과적으로 이미지를 생성할 수 있는 GAN 프레임워크를 설계할 수 있는가?
• RQ2 연속적이고 희박하거나 제로샷인 회귀 레이블에 조건부로 적용할 때도 안정적이고 효과적인 경험적 cGAN 손실을 어떻게 재구성할 수 있는가?
• RQ3 생성자 및 판별자 아키텍처에 연속 스칼라 레이블을 통합하기 위한 효과적인 레이블 입력 기법은 무엇인가?
• RQ4 제안된 CcGAN의 성능은 연속 조건부 설정 하에서 표준 cGAN과 비교해 이미지 품질과 다양성 측면에서 어떻게 다른가?
• RQ5 슬라이딩 프리에드리히 인ception 거리(SFID)와 같은 새로운 평가 지표가 연속 조건부 이미지 생성의 품질을 더 잘 캡처할 수 있는가?

주요 결과

• CcGAN은 RC-49, Cell-200, UTKFace, 스티어링 앵글 데이터셋을 포함한 여러 데이터셋에서 연속 회귀 레이블에 조건부로 다양하고 고품질의 이미지를 생성한다.
• 제안된 HVDL 및 SVDL 판별자 손실은 약한 가정 하에 이론적 오차 경계를 확보하여 연속 설정에서 안정적인 훈련을 보장한다.
• 향상된 레이블 입력(ILI) 방법은 나이브 레이블 입력(NLI) 방법보다 생성자 및 판별자 성능을 크게 향상시킨다.
• 모든 평가된 벤치마크에서 CcGAN은 시각적 및 정량적 측면에서 표준 cGAN을 능가하며, 뛰어난 샘플 품질과 다양성을 입증한다.
• 새로운 평가 지표인 슬라이딩 프리에드리히 인ception 거리(SFID)는 연속 조건부 이미지 생성의 성능 차이를 효과적으로 캡처하며, 인간 평가와 강한 상관관계를 보인다.