[논문 리뷰] Continuous Conditional Generative Adversarial Networks: Novel Empirical Losses and Label Input Mechanisms

Xin Ding, Yongwei Wang외 3명|arXiv (Cornell University)|2020. 11. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 8

한 줄 요약

이 논문은 연속적인 스칼라 회귀 레이블에 조건부로 작동하는 첫 번째 GAN 프레임워크인 연속 조건부 생성 대비 신경망(CcGAN)을 소개한다. 두 가지 핵심 과제를 해결한다: (P1) 연속적인 공간에서 레이블이 희박하거나 누락될 경우 발생하는 불안정한 학습 문제, (P2) 표준 one-hot 또는 임베딩 기반의 레이블 삽입 방식이 무한히 많은 연속 레이블과 호환되지 않는 문제. 이 방법은 하드 및 소프트 비실적 판별자 손실이라는 새로운 경험적 손실 함수와 두 가지 레이블 입력 기반(비공식 레이블 입력(NLI) 및 개선된 레이블 입력(ILI))을 제안하여 고해상도, 높은 다양성, 레이블 일관성을 확보한 이미지 생성을 가능하게 하며, RC-49, UTKFace, 스티어링 앵글 등의 벤치마크에서 표준 cGAN보다 시각적 및 정량적으로 뛰어난 성능을 발휘한다.

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Fréchet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

연구 동기 및 목표

• 연속적인 스칼라 회귀 레이블에 조건부로 작동하는 효과적인 생성 모델링 기법이 부족한 문제를 해결하기 위해.
• 문제 (P1) 해결: 연속적인 레이블 공간에서 일부 레이블이 희박하거나 존재하지 않을 경우 발생하는 경험적 리스크 최소화의 불안정성 문제를 해결하기 위해.
• 문제 (P2) 해결: 무한히 많은 연속 레이블과 호환되지 않는 표준 one-hot 또는 임베딩 기반 레이블 입력 방식의 불일치 문제를 해결하기 위해.
• 레이블 일관성, 이미지 다양성, 고해상도 시각적 품질을 보장하는 새로운 학습 프레임워크를 개발하기 위해.
• 연속 조건부 GAN에 대한 새로운 벤치마크와 평가 지표를 수립하기 위해. 이는 슬라이딩 FID와 함께 두 가지 신규 데이터셋(RC-49, Cell-200) 포함.

제안 방법

• 비실적 리스크 최소화 기반으로 경험적 cGAN 손실 함수를 연속 조건에 맞게 재구성하여, 하드 비실적 판별자 손실(HVDL)과 소프트 비실적 판별자 손실(SVDL)이라는 두 가지 새로운 판별자 손실 함수를 도출.
• 직접 특징 맵에 회귀 레이블을 연결하는 비공식 레이블 입력(NLI) 기반과, 더 나은 레이블 표현을 위해 학습 가능한 임베딩 레이어를 사용하는 개선된 레이블 입력(ILI) 기반을 제안.
• 재구성된 판별자 목표 함수에서 파생된 새로운 경험적 생성자 손실을 도입하여 학습 안정성 향상과 샘플 품질 향상을 도모.
• 생성자 업데이트당 여러 번의 판별자 업데이트를 수행하는 수정된 학습 스케줄을 적용하고, 모드 붕괴를 완화하기 위해 강력한 증강 기법을 사용한 DiffAugment를 도입.
• 기본 표준 cGAN은 SAGAN을 백본 네트워크로 사용하고 힌지 손실을 적용하지만, CcGAN은 제안된 손실 함수와 레이블 기반 기법을 사용.
• 약한 가정 하에 HVDL 및 SVDL로 학습된 판별자에 대한 이론적 오차 경계를 유도하여 일반화 안정성을 보장하는 이론적 근거 제공.

실험 결과

연구 질문

• RQ1 조건부 레이블이 이산적이 아니라 연속적인 스칼라일 경우, 조건부 GAN이 효과적으로 학습될 수 있는가?
• RQ2 일부 회귀 레이블에 학습 예제가 적거나 없을 경우, 경험적 손실 함수를 어떻게 재구성하여 안정적인 학습을 보장할 수 있는가?
• RQ3 one-hot 인코딩이나 유한한 클래스로의 이산화에 의존하지 않고도 연속적인 스칼라 값에 효과적으로 조건부로 작동할 수 있는 레이블 입력 기반은 무엇인가?
• RQ4 제안된 CcGAN은 다양한 레이블 분포를 가진 여러 데이터셋에서 다양하고 고해상도이며 레이블 일관성을 확보한 이미지를 생성할 수 있는가?
• RQ5 시각적 품질, 레이블 내 다양성, 레이블 일관성 측면에서 CcGAN은 표준 cGAN보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• CcGAN(SVDL+ILI)는 고해상도에서도 RC-49, UTKFace, 스티어링 앵글을 포함한 모든 테스트 데이터셋에서 시각적으로 현실적이며 다양하고 레이블 일관성이 확보된 이미지를 생성한다.
• cGAN(K classes)는 높은 레이블 일관성에도 불구하고 모드 붕괴와 낮은 레이블 내 다양성으로 인해 다양하거나 고해상도 이미지를 생성하지 못한다.
• cGAN(concat)는 다양한 샘플을 생성하지만 입력 회귀 레이블과 일치하지 않는 결과를 내어 레이블 일관성이 떨어진다.
• 전통적인 Intra-FID가 레이블 희박성으로 인해 실패하는 상황에서 슬라이딩 프리에드 이너스 인ception 디스턴스(SFID) 지표는 CcGAN 성능 평가에 효과적으로 활용된다.
• HVDL 및 SVDL에 대한 이론적 오차 경계는 약한 가정 하에 일반화 안정성을 입증하여 제안된 학습 목표의 강건성을 뒷받침한다.
• 광범위한 아블레이션 분석 결과, SVDL와 ILI의 조합이 가장 뛰어난 성능을 보이며, 이는 손실 함수와 레이블 입력 기반 기법의 효과성을 확인한다.