[논문 리뷰] CcGAN: Continuous Conditional Generative Adversarial Networks for Image Generation

Xin Ding, Yongwei Wang외 3명|arXiv (Cornell University)|2020. 11. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 18

한 줄 요약

이 논문은 연속적인 회귀 레이블에 조건이 되는 이미지 생성을 위한 새로운 조건부 GAN 프레임워크인 CcGAN을 소개한다. 이는 희소 레이블로 인한 불안정한 학습과 비효율적인 레이블 인코딩이라는 두 가지 핵심 과제를 해결한다. HVDL/SVDL로 재정의된 디스criminator 및 생성자 손실 함수와 NLI/ILI로 새롭게 제안된 레이블 입력 방식을 도입하여, RC-49 및 Cell-200을 포함한 벤치마크 데이터셋에서 기존 cGAN 대비 뛰어난 이미지 품질과 다양성을 확보한다.

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (e.g., class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems: (P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (a.k.a. empirical cGAN losses) often fails in practice; (P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Frechet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN can generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

연구 동기 및 목표

• 연속적이고 스칼라 형태의 회귀 레이블에 조건이 되는 이미지 합성용 생성 모델의 부족을 보완하기 위해.
• 희소 또는 제로샷 회귀 레이블에 조건이 되는 기존 cGAN의 학습 불안정성 문제를 해결하기 위해.
• 기존의 one-hot 인코딩이 적용되지 않는 연속적 조건을 위해 효과적인 레이블 입력 메커니즘을 설계하기 위해.
• 연속적 조건부 이미지 생성을 위한 새로운 벤치마크를 설정하기 위해, 이는 데이터셋과 평가 지표를 포함한다.

제안 방법

• vicinal 위험 최소화에 기반하여, 연속 조건에 적합한 하드 비실 디스criminator 손실(HVDL)과 소프트 비실 디스criminator 손실(SVDL)을 도입함으로써 기존의 경험적 cGAN 손실을 재정의한다.
• 연속 조건 하에서 생성된 이미지가 진정된 데이터 분포와 일치하도록 하는 새로운 경험적 생성자 손실을 제안한다.
• 생성자 및 디스criminator 네트워크에 회귀 레이블을 통합하기 위해 나이브 레이블 입력(NLI)과 향상된 레이블 입력(ILI) 방식을 도입한다.
• 약한 가정 하에 HVDL 및 SVDL로 학습된 디스criminator에 대한 이론적 오차 경계를 유도하여 일반화 안정성을 보장한다.
• 연속적 조건부 생성을 평가하기 위해 새로운 두 개의 벤치마크 데이터셋—RC-49(회귀 조건부) 및 Cell-200(세포 영상)—을 설계한다.
• 연속 레이블 값 전역에서 이미지 품질과 다양성을 평가하기 위해 슬라이딩 프리체트 인ception 거리(SFID)라는 새로운 평가 지표를 제안한다.

실험 결과

연구 질문

• RQ1 희소하거나 제로샷 레이블 발생이 있는 상황에서도 연속적 스칼라 회귀 레이블에 조건이 되는 조건부 GAN을 효과적으로 학습시킬 수 있는가?
• RQ2 어떻게 하면 회귀 레이블을 생성자 및 디스criminator 아키텍처에 효과적으로 통합하여 의미 있는 조건부 생성을 가능하게 할 수 있는가?
• RQ3 제안된 재정의된 손실 함수(HVDL 및 SVDL)가 기존 cGAN 손실 대비 연속적 환경에서 더 나은 일반화 및 학습 안정성을 제공하는가?
• RQ4 제안된 평가 지표인 슬라이딩 프리체트 인ception 거리(SFID)는 연속 레이블 공간 전역에서 이미지 품질과 다양성을 신뢰성 있게 측정할 수 있는가?
• RQ5 CcGAN은 연속적 조건부 이미지 생성 작업에서 표준 cGAN 대비 시각적 품질과 정량적 성능 측면에서 어떻게 비교되는가?

주요 결과

• CcGAN은 RC-49, UTKFace, Cell-200, Steering Angle 등 여러 데이터셋에서 표준 cGAN 대비 뛰어난 시각적 품질과 다양성을 확보한다.
• 제안된 HVDL 및 SVDL 손실 함수는 이론적으로 경계가 있는 일반화 오차를 제공하여 연속적 조건부 GAN의 안정적인 학습 환경을 보장한다.
• 나이브 레이블 입력(NLI) 기반 대비 향상된 레이블 입력(ILI) 방법이 특징 학습 및 생성 정확도 측면에서 뚜렷한 향상을 보였다.
• 슬라이딩 프리체트 인ception 거리(SFID) 지표는 연속 레이블 값 전역에서 이미지 품질과 다양성의 추세를 효과적으로 포착하여 신뢰성 있는 모델 비교를 가능하게 한다.
• RC-49 및 Cell-200 벤치마크에서 CcGAN은 표준 cGAN 대비 정량적 및 정성적 지표에서 뚜렷한 향상을 보였다.
• 희소하거나 존재하지 않는 특정 레이블에 대한 학습 데이터가 있어도, 나이, 자세, 세포 형태와 같은 연속적 레이블에 조건이 되는 현실적인 이미지를 성공적으로 생성한다.