[논문 리뷰] Semi-supervised Conditional GANs

Kumar Sricharan, Raja Bala외 4명|arXiv (Cornell University)|2017. 08. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 41

한 줄 요약

이 논문은 두 개의 스택된 구분자(discriminators)를 사용하여 레이블이 있는 데이터와 레이블이 없는 데이터에서의 근사 데이터 분포(marginal data distribution)와 레이블이 있는 데이터에서의 조건부 속성 분포(conditional attribute distribution)를 동시에 모델링하는 새로운 프레임워크인 준감독 조건부 GAN(SS-GAN)을 제안한다. 이는 준감독 조건부 생성에서 성능을 크게 향상시킨다. SS-GAN은 MNIST, CelebA, CIFAR-10에서 기존 방법들인 AC-GAN, SC-GAN, SA-GAN을 능가하며, 클래스당 단 한 개의 레이블 샘플만으로도 거의 감독 학습 성능에 도달한다.

ABSTRACT

We introduce a new model for building conditional generative models in a semi-supervised setting to conditionally generate data given attributes by adapting the GAN framework. The proposed semi-supervised GAN (SS-GAN) model uses a pair of stacked discriminators to learn the marginal distribution of the data, and the conditional distribution of the attributes given the data respectively. In the semi-supervised setting, the marginal distribution (which is often harder to learn) is learned from the labeled + unlabeled data, and the conditional distribution is learned purely from the labeled data. Our experimental results demonstrate that this model performs significantly better compared to existing semi-supervised conditional GAN models.

연구 동기 및 목표

• 레이블이 일부 밖에 없는 준감독 환경에서 조건부 생성 모델링을 위한 효과적인 방법이 부족한 문제를 해결하기 위해.
• 근사 데이터 분포와 조건부 속성 분포의 학습을 분리함으로써 일반화 능력과 샘플 품질을 향상시키기 위해.
• 레이블이 없는 데이터를 활용해 근사 분포를 학습하면서도, 조건부 생성을 위해 레이블 정보를 유지하기 위해.
• 최소한의 레이블 데이터로도 완전히 감독된 모델에 가까운 성능을 달성하기 위해.

제안 방법

• 모델은 두 개의 스택된 구분자(D_u와 D_s)를 사용한다. D_u는 모든 데이터(레이블이 있는 데이터 + 레이블이 없는 데이터)를 사용하여 진짜 이미지와 가짜 이미지를 평가하는 근사 구분자이며, D_s는 레이블이 있는 데이터만을 사용하여 이미지로부터 진짜 속성과 가짜 속성을 평가한다.
• 생성자는 속성에 조건부로 샘플을 생성하며, 복합 (x,y) 쌍과 조건부 속성 재구성에 대해 적대적 손실를 적용한다.
• D_u의 중간 특징은 D_s에 입력되어, D_s가 더 넓은 데이터 분포 기반의 구분 가능한 특징을 학습함으로써 레이블이 있는 샘플에 대한 과적합을 줄인다.
• 학습 목표는 두 구분자 모두에 대한 적대적 손실를 조합하며, D_s는 생성된 이미지에서 속성을 재구성하기 위해 교차 엔트로피 손실를 사용한다.
• 유한한 레이블 데이터 하에서 수렴성에 이론적 기반을 두어, 준감독 환경에서의 안정성을 보장한다.
• 이 방법은 MNIST, CelebA, CIFAR-10에 적용되었으며, AC-GAN, SC-GAN, SA-GAN과의 비교를 위한 분석 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 준감독 조건부 GAN 프레임워크는 레이블이 없는 데이터를 효과적으로 활용하여 조건부 이미지 생성을 향상시킬 수 있는가?
• RQ2 근사 분포와 조건부 분포 학습을 분리함으로써 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 SS-GAN은 스택된 구분자 아키텍처를 사용하지만 다른 학습 목표를 가진 SA-GAN보다 왜 성능이 뛰어나게 되는가?
• RQ4 최소한의 레이블 데이터로 SS-GAN이 얼마나 완전히 감독된 모델의 성능에 가까워질 수 있는가?

주요 결과

• MNIST 데이터셋에서 SS-GAN은 클래스 예측 오차가 0.299로, 클래스당 한 개의 레이블 샘플만으로도 SA-GAN(0.468)과 SC-GAN(0.355)을 능가했다.
• CIFAR-10에서 SS-GAN은 재구성 오차가 0.061로, SA-GAN(0.173)과 SC-GAN(0.213)보다 유의미하게 낮았으며, 완전히 감독된 C-GAN(0.041)에 가까웠다.
• 시각적 검토 결과, SS-GAN 샘플은 모드 붕괴(most mode collapse)가 거의 없고 고해상도 품질을 보였으며, AC-GAN, SC-GAN, SA-GAN은 심각한 모드 붕괴를 보였다.
• CIFAR-10에서 SS-GAN은 샘플 다양성 점수 6.54e-06을 기록했으며, SC-GAN(0.999)보다 유의미하게 높았고, C-GAN과 AC-GAN 수준과 유사했다.
• CIFAR-10에서 SS-GAN의 구분자 특징 오차는 0.891이었으며, SA-GAN(0.874)과 SC-GAN(0.870)을 능가했고, 완전히 감독된 C-GAN(0.874)의 성능에 가까웠다.
• 모델는 뛰어난 일반화 능력을 보였으며, CIFAR-10에서 SS-GAN의 성능은 다른 준감독 변종보다 완전히 감독된 기준선에 더 가까웠다.