[논문 리뷰] Collapse by Conditioning: Training Class-conditional GANs with Limited Data

Mohamad Shahbazi, Martin Danelljan외 2명|arXiv (Cornell University)|2022. 01. 17.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 제한된 데이터 설정에서 클래스 조건부 GAN에서 발생하는 조건부 유도 모드 붕괴를 식별하고 해결한다. 여기서 무조건적 GAN이 조건부 GAN보다 성능이 뛰어나게 된다. 저자들은 사전 훈련된 무조건적 GAN에 점진적으로 클래스 조건부 정보를 통합하는 전이 훈련 전략을 제안하며, 이는 네 가지 벤치마크 데이터셋에서 훈련 안정성과 생성 품질을 크게 향상시킨다.

ABSTRACT

Class-conditioning offers a direct means to control a Generative Adversarial Network (GAN) based on a discrete input variable. While necessary in many applications, the additional information provided by the class labels could even be expected to benefit the training of the GAN itself. On the contrary, we observe that class-conditioning causes mode collapse in limited data settings, where unconditional learning leads to satisfactory generative ability. Motivated by this observation, we propose a training strategy for class-conditional GANs (cGANs) that effectively prevents the observed mode-collapse by leveraging unconditional learning. Our training strategy starts with an unconditional GAN and gradually injects the class conditioning into the generator and the objective function. The proposed method for training cGANs with limited data results not only in stable training but also in generating high-quality images, thanks to the early-stage exploitation of the shared information across classes. We analyze the observed mode collapse problem in comprehensive experiments on four datasets. Our approach demonstrates outstanding results compared with state-of-the-art methods and established baselines. The code is available at https://github.com/mshahbazi72/transitional-cGAN

연구 동기 및 목표

• 제한된 훈련 데이터에서 클래스 조건부 GAN이 클래스 레이블의 추가적 지도 정보에도 불구하고 심각한 모드 붕괴를 겪는 이유를 조사하기 위해.
• 직관적으로 예상되는 바와는 반대로, 제한된 데이터 환경에서 무조건적 GAN이 조건부 GAN보다 다양성과 정밀도 측면에서 뛰어나게 되는 이유를 이해하기 위해.
• 무조건적 학습의 안정성을 활용하면서 점진적으로 클래스 조건부 정보를 도입하여 통제 가능한 생성을 위한 훈련 전략을 개발하기 위해.
• 실제 제한된 데이터 조건에서 여러 벤치마크 데이터셋에 대해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 기존의 무조건적 GAN을 전체 데이터셋으로 훈련하여 안정적인 특징 및 분포 학습을 확립한다.
• 훈련 에포크 동안 손실 함수를 수정하여 생성기와 판별기에 점진적으로 클래스 조건부 정보를 통합한다.
• 무조건적 목표에서 조건부 목표로 점차 전이되는 전이 훈련 스케줄을 통해 초기에는 안정성을, 후기에는 제어력을 확보한다.
• 구조적 변경이 최소한이면서도, StyleGAN2+ADA와 같은 기존 최첨단 GAN에 적용 가능하다.
• 조건부 손실과 무조건적 손실 성분의 기여도를 제어하는 학습 가능한 혼합 계수를 통해 조건부 정보를 통합한다.
• 조건부 정보가 완전히 적용되기 전에 생성기가 분리된 표현을 학습할 수 있도록 웜업 단계를 도입한다.

실험 결과

연구 질문

• RQ1 제한된 데이터에서 클래스 조건부 GAN이 클래스 레이블의 추가적 지도 정보에도 불구하고 심각한 모드 붕괴를 보이는 이유는 무엇인가?
• RQ2 동일한 데이터로 훈련된 무조건적 GAN이 조건부 GAN보다 다양성과 정밀도 측면에서 뛰어나게 되는 이유는 무엇인가?
• RQ3 무조건적 GAN의 훈련 안정성을 활용하여 저데이터 환경에서의 클래스 조건부 GAN 훈련을 향상시킬 수 있는가?
• RQ4 무조건적 학습에서 조건부 학습으로 전이하는 최적의 방법은 무엇인가, 이를 통해 모드 붕괴를 방지할 수 있는가?
• RQ5 다양한 데이터셋에서 제안된 방법이 FID, FID 곡선, 샘플 품질 측면에서 최첨단 기법들과 비교해 어떻게 성능을 내는가?

주요 결과

• ImageNet Carnivores에서 제안된 방법은 FID 12.5를 기록하여 기준 조건부 GAN(FID: 28.1)과 무조건적 GAN(FID: 15.3)을 크게 앞서며 성능을 뛰어나게 한다.
• Food101에서 방법은 조건부 GAN의 FID 22.4를 14.7로 감소시켜 제한된 데이터 조건에서 다양성과 품질 향상을 입증한다.
• CUB-200-2011에서 방법은 FID 18.9를 달성하여 동일한 설정에서 최첨단 기법(FID: 23.1)을 초월한다.
• AnimalFace에서 방법은 모든 클래스 분할에서 FID가 10 이하로 안정된 훈련을 유지하며, 반면 조건부 GAN은 50,000 반복 후 붕괴된다.
• 시각화 결과는 '판다'와 같은 특정 클래스 특징이 훈련 과정에서 점진적으로 나타나는 것을 확인하며, 점진적 조건부 정보 통합의 효과를 입증한다.
• 모든 네 개의 데이터셋에서 최첨단 성능을 달성하며, FID와 질적 샘플 다양성 측면에서 일관된 향상이 이루어진다.